KBO 타자 OPS 예측 경진대회 - 3

import pandas as pd
import matplotlib.pyplot as plt
import matplotlib
import matplotlib.font_manager as fm
import os
import seaborn as sns
from IPython.display import display
import numpy as np
import re
import json


pd.options.display.max_columns = None
%matplotlib inline

# 한글 폰트
plt.rcParams['font.family'] = 'NanumGothic'
# 마이너스 깨짐 방지
matplotlib.rcParams['axes.unicode_minus'] = False

# 나눔 폰트 경로 설정
font_path = '/usr/share/fonts/truetype/nanum/NanumGothic.ttf'  # 나눔 고딕의 경로
font_prop = fm.FontProperties(fname=font_path).get_name()

# 한글 폰트 설정
matplotlib.rcParams['font.family'] = font_prop

# 전역 팔레트 설정 (예: 'Set2' 팔레트 사용)
sns.set_palette('Set2')

# 불러오기
preseason = pd.read_csv('../datas/Pre_Season_Batter.csv')
for i, j in preseason.isnull().sum().items():
    if not j == 0:
        print(i, j)

starting_salary 214

# 연도별 선수 수 확인

'''
그렇다면 각 연도별 등록된 선수의 수는 어떻게 될지 한 번 살펴보았다.
'''

batter_count_preseason = preseason.groupby('year')['batter_id'].count().rename('preseason').reset_index()
batter_count_preseason
batter_count_preseason.plot(kind='line', x='year', y='preseason')

'''
최근으로 올 수록 등록된 선수의 수가 늘어나는 것을 볼 수 있다.
''';

'''
이제 프리시즌과 정규시즌의 상관관계를 보려고 한다.
프리시즌의 성적이 정규시즌에 영향을 미치는가?

프리시즌에 성적이 좋았던 선수들은 과연 정규시즌에서도 성적이 좋은지 확인하려고 한다.

먼저 정규시즌을 불러오고 결측값을 확인한 후 채우는 작업을 한다.
'''

regular_season = pd.read_csv('../datas/Regular_Season_Batter.csv')
regular_season.head()

'''
타율, SLG, OBP에서 각각 결측값이 발견되었다.
'''

regular_season.isna().sum()

batter_id             0
batter_name           0
year                  0
team                  0
avg                  26
G                     0
AB                    0
R                     0
H                     0
2B                    0
3B                    0
HR                    0
TB                    0
RBI                   0
SB                    0
CS                    0
BB                    0
HBP                   0
SO                    0
GDP                   0
SLG                  26
OBP                  24
E                     0
height/weight       802
year_born             0
position            802
career                0
starting_salary    1067
OPS                  26
dtype: int64

# 정규시즌 결측값 채우기

'''
먼저 SLG, OBP는 앞서 사용한 방식을 이용하여 채워주었다.
'''

def SLG_calc(row):
    # SLG가 NaN이 아닐 경우 그대로 반환
    if pd.notna(row['SLG']):
        return row['SLG']
    # 타수가 없는 경우
    if pd.notna(row['AB']) or row['AB'] == 0:
        return 0
    H = row['H'] - row[['2B', '3B', 'HR']].sum()
    SLG = (H + row['2B'] * 2 + row['3B'] * 3 + row['HR'] * 4) / row['AB']

    return SLG

def OBP_calc(row):
    # OBP가 NaN이 아닐 경우 그대로 반환
    if pd.notna(row['OBP']):
        return row['OBP']
    
    denominator = row[['H', 'BB', 'HBP']].sum()
    numerator = row[['AB', 'BB', 'HBP']].sum()
    
    # 분모 또는 분자가 0 인경우
    if denominator == 0 or numerator == 0:
        return 0
    
    OBP = denominator / numerator
    return OBP

# SLG 결측값 채우기
regular_season['SLG'] = regular_season.apply(SLG_calc, axis=1)
# OBP 결측값 채우기
regular_season['OBP'] = regular_season.apply(OBP_calc, axis=1)

# 결측값 확인
print(regular_season.isna().sum())

batter_id             0
batter_name           0
year                  0
team                  0
avg                  26
G                     0
AB                    0
R                     0
H                     0
2B                    0
3B                    0
HR                    0
TB                    0
RBI                   0
SB                    0
CS                    0
BB                    0
HBP                   0
SO                    0
GDP                   0
SLG                   0
OBP                   0
E                     0
height/weight       802
year_born             0
position            802
career                0
starting_salary    1067
OPS                  26
dtype: int64

'''
이제 SLG와 OBP를 채워주었으니 둘을 이용해 OPS를 채워주었다.
'''

def OPS_clac(row):
    # OBP가 NaN이 아닐 경우 그대로 반환
    if pd.notna(row['OPS']):
        return row['OPS']
    
    OPS = row[['SLG', 'OBP']].sum()
    return OPS

# OPS 결측값 채우기
regular_season['OPS'] = regular_season.apply(OPS_clac, axis=1)

# 결측값 확인
regular_season.isna().sum()

batter_id             0
batter_name           0
year                  0
team                  0
avg                  26
G                     0
AB                    0
R                     0
H                     0
2B                    0
3B                    0
HR                    0
TB                    0
RBI                   0
SB                    0
CS                    0
BB                    0
HBP                   0
SO                    0
GDP                   0
SLG                   0
OBP                   0
E                     0
height/weight       802
year_born             0
position            802
career                0
starting_salary    1067
OPS                   0
dtype: int64

'''
이제 타율을 채워주도록 하자

타율은 안타 / 타수로
AVG = H / AB 로 계산한다.

먼저 제대로 맞는지 확인해 보자
'''

print(regular_season.loc[0, 'H'] / regular_season.loc[0, 'AB'])
print(regular_season.loc[0, 'avg'])

'''
셋째 자리엣 반올림 하면 될 것 같다.
공식을 이용해서 적용했다.
'''

def AVG_calc(row):
    # avg가 이미 채워진 경우
    if pd.notna(row['avg']):
        return row['avg']
    # 타수 또는 안타가 0인 경우
    if row['AB'] == 0 or row['H'] == 0:
        return 0
    
    avg = regular_season.loc[0, 'H'] / regular_season.loc[0, 'AB']
    avg = round(avg, 3)
    return avg

regular_season['avg'] = regular_season.apply(AVG_calc, axis=1)

# 결측값 확인
print(regular_season.isna().sum())

# 데이터 저장
regular_season.to_csv('../datas/Regular_Season_Batter.csv', encoding='utf-8-sig', index=False)

# 다시 불러오기
regular_season = pd.read_csv('../datas/Regular_Season_Batter.csv')

0.33879781420765026
0.339
batter_id             0
batter_name           0
year                  0
team                  0
avg                   0
G                     0
AB                    0
R                     0
H                     0
2B                    0
3B                    0
HR                    0
TB                    0
RBI                   0
SB                    0
CS                    0
BB                    0
HBP                   0
SO                    0
GDP                   0
SLG                   0
OBP                   0
E                     0
height/weight       802
year_born             0
position            802
career                0
starting_salary    1067
OPS                   0
dtype: int64

'''
먼저 정규시즌도 프리시즌과 똑같이 기초통계량을 확인해 보았다.
'''

display(regular_season.describe())

'''
정규 시즌은 프리시즌과 다르게 선수의 수가 매우 많다.

기록된 연도 또한 93년 부터 18년까지 존재한다.

그렇다면 프리시즌과 비교할 때 문제가 생길 수 있으므로 정규시즌과 프리시즌 두 곳에 모두 있는 선수과 연도만 사용해야할 것 같다.
''';

'''
각 시즌에서 타자이름, 연도를 이용하여 새로운 인덱스를 만들고, 그 인덱스들을 교집합하여 나온 데이터를 이용하려고 한다.
'''

regular_season['new_index'] = regular_season['batter_name'] + regular_season['year'].apply(str)
preseason['new_index'] = preseason['batter_name'] + preseason['year'].apply(str)

intersection_batter = list(set(regular_season['new_index']).intersection(set(preseason['new_index'])))
print('교집합 된 선수의 수: ',len(intersection_batter))
print(sorted(intersection_batter))

'''
처음에 이상했다.
분명 앞에서 프리시즌을 확인 했을 때는 344명이였는데 왜 1358명이라는 교집합 수가 나올까
그래서 다시 확인 했는데 count 수를 보지 않고 max 수를 보았다....
''';

교집합 된 선수의 수:  1358
['가르시아2018', '강경학2011', '강경학2014', '강경학2015', '강경학2016', '강경학2017', '강구성2013', '강구성2016', '강구성2017', '강민국2014', '강민국2015', '강민국2016', '강민호2005', '강민호2006', '강민호2007', '강민호2008', '강민호2009', '강민호2010', '강민호2011', '강민호2012', '강민호2013', '강민호2014', '강민호2015', '강민호2016', '강민호2017', '강민호2018', '강백호2018', '강상원2017', '강상원2018', '강승호2016', '강승호2017', '강승호2018', '강진성2017', '강진성2018', '강한울2014', '강한울2015', '강한울2017', '강한울2018', '고종욱2011', '고종욱2015', '고종욱2016', '고종욱2017', '고종욱2018', '구자욱2015', '구자욱2016', '구자욱2017', '구자욱2018', '국해성2012', '국해성2015', '국해성2016', '국해성2017', '국해성2018', '권정웅2016', '권정웅2017', '권정웅2018', '권희동2013', '권희동2014', '권희동2017', '권희동2018', '김강민2003', '김강민2004', '김강민2005', '김강민2006', '김강민2007', '김강민2008', '김강민2009', '김강민2010', '김강민2011', '김강민2012', '김강민2013', '김강민2014', '김강민2015', '김강민2016', '김강민2017', '김강민2018', '김동엽2016', '김동엽2017', '김동엽2018', '김동욱2013', '김동욱2015', '김동욱2016', '김동욱2017', '김동욱2018', '김동한2013', '김동한2016', '김동한2017', '김동한2018', '김문호2007', '김문호2008', '김문호2011', '김문호2012', '김문호2013', '김문호2014', '김문호2015', '김문호2016', '김문호2017', '김문호2018', '김민성2007', '김민성2009', '김민성2010', '김민성2011', '김민성2012', '김민성2013', '김민성2014', '김민성2015', '김민성2016', '김민성2017', '김민성2018', '김민수2014', '김민수2018', '김민식2015', '김민식2016', '김민식2017', '김민식2018', '김민하2014', '김민하2015', '김사훈2012', '김사훈2013', '김사훈2014', '김사훈2017', '김사훈2018', '김상수2009', '김상수2010', '김상수2011', '김상수2012', '김상수2013', '김상수2014', '김상수2015', '김상수2016', '김상수2017', '김상수2018', '김상호2012', '김상호2016', '김상호2017', '김선빈2008', '김선빈2009', '김선빈2010', '김선빈2011', '김선빈2012', '김선빈2013', '김선빈2014', '김선빈2017', '김선빈2018', '김성욱2013', '김성욱2014', '김성욱2015', '김성욱2016', '김성욱2017', '김성욱2018', '김성현2006', '김성현2007', '김성현2008', '김성현2011', '김성현2012', '김성현2013', '김성현2014', '김성현2015', '김성현2016', '김성현2017', '김성현2018', '김성훈2018', '김용의2008', '김용의2012', '김용의2013', '김용의2014', '김용의2015', '김용의2016', '김용의2017', '김용의2018', '김응민2014', '김인태2017', '김재성2015', '김재율2012', '김재율2015', '김재율2017', '김재율2018', '김재현2014', '김재현2015', '김재현2016', '김재호2004', '김재호2005', '김재호2008', '김재호2009', '김재호2010', '김재호2011', '김재호2012', '김재호2013', '김재호2014', '김재호2015', '김재호2016', '김재호2017', '김재호2018', '김재환2008', '김재환2011', '김재환2014', '김재환2015', '김재환2016', '김재환2017', '김재환2018', '김주찬2002', '김주찬2003', '김주찬2004', '김주찬2008', '김주찬2009', '김주찬2010', '김주찬2011', '김주찬2012', '김주찬2013', '김주찬2014', '김주찬2015', '김주찬2016', '김주찬2017', '김주찬2018', '김주형2004', '김주형2005', '김주형2006', '김주형2007', '김주형2008', '김주형2011', '김주형2013', '김주형2014', '김주형2016', '김주형2017', '김주형2018', '김지수2010', '김지수2014', '김지수2015', '김지수2016', '김지수2017', '김지수2018', '김진곤2015', '김태균2002', '김태균2003', '김태균2004', '김태균2005', '김태균2006', '김태균2007', '김태균2008', '김태균2009', '김태균2012', '김태균2013', '김태균2014', '김태균2015', '김태균2016', '김태균2017', '김태균2018', '김태연2018', '김태완2006', '김태완2007', '김태완2008', '김태완2009', '김태완2010', '김태완2013', '김태완2014', '김태완2016', '김태완2017', '김태완2018', '김태진2016', '김하성2015', '김하성2016', '김하성2017', '김하성2018', '김헌곤2011', '김헌곤2012', '김헌곤2013', '김헌곤2014', '김헌곤2017', '김헌곤2018', '김현수2007', '김현수2008', '김현수2009', '김현수2010', '김현수2011', '김현수2012', '김현수2013', '김현수2014', '김현수2015', '김현수2018', '김혜성2017', '김혜성2018', '김회성2009', '김회성2010', '김회성2014', '김회성2015', '김회성2017', '나경민2017', '나경민2018', '나성범2014', '나성범2015', '나성범2016', '나성범2017', '나성범2018', '나원탁2017', '나원탁2018', '나종덕2017', '나종덕2018', '나주환2003', '나주환2004', '나주환2005', '나주환2006', '나주환2007', '나주환2008', '나주환2009', '나주환2010', '나주환2014', '나주환2015', '나주환2017', '나주환2018', '나지완2008', '나지완2009', '나지완2010', '나지완2012', '나지완2013', '나지완2014', '나지완2015', '나지완2016', '나지완2017', '나지완2018', '남태혁2016', '남태혁2017', '남태혁2018', '노수광2015', '노수광2016', '노수광2017', '노수광2018', '노진혁2013', '노진혁2014', '노진혁2015', '노진혁2018', '도태훈2016', '도태훈2017', '도태훈2018', '러프2017', '러프2018', '로맥2018', '로하스2018', '류지혁2016', '류지혁2017', '류지혁2018', '모창민2008', '모창민2009', '모창민2010', '모창민2013', '모창민2014', '모창민2015', '모창민2017', '모창민2018', '문규현2004', '문규현2007', '문규현2009', '문규현2010', '문규현2011', '문규현2012', '문규현2013', '문규현2014', '문규현2015', '문규현2016', '문규현2017', '문규현2018', '문선재2013', '문선재2014', '문선재2015', '문선재2016', '문선재2017', '민병헌2006', '민병헌2007', '민병헌2008', '민병헌2009', '민병헌2010', '민병헌2013', '민병헌2014', '민병헌2015', '민병헌2016', '민병헌2017', '민병헌2018', '박건우2013', '박건우2014', '박건우2015', '박건우2016', '박건우2017', '박건우2018', '박경수2003', '박경수2004', '박경수2005', '박경수2006', '박경수2007', '박경수2008', '박경수2009', '박경수2010', '박경수2011', '박경수2015', '박경수2016', '박경수2017', '박경수2018', '박광열2015', '박광열2016', '박광열2017', '박광열2018', '박기혁2002', '박기혁2003', '박기혁2004', '박기혁2005', '박기혁2006', '박기혁2007', '박기혁2008', '박기혁2009', '박기혁2010', '박기혁2013', '박기혁2015', '박기혁2016', '박기혁2017', '박기혁2018', '박동원2013', '박동원2014', '박동원2015', '박동원2016', '박동원2017', '박동원2018', '박민우2013', '박민우2014', '박민우2015', '박민우2016', '박민우2018', '박병호2005', '박병호2006', '박병호2009', '박병호2010', '박병호2012', '박병호2013', '박병호2014', '박병호2015', '박병호2018', '박석민2004', '박석민2008', '박석민2009', '박석민2010', '박석민2011', '박석민2012', '박석민2013', '박석민2014', '박석민2015', '박석민2016', '박석민2017', '박석민2018', '박세혁2012', '박세혁2013', '박세혁2016', '박세혁2017', '박세혁2018', '박승욱2013', '박승욱2017', '박승욱2018', '박용택2002', '박용택2003', '박용택2004', '박용택2005', '박용택2006', '박용택2007', '박용택2008', '박용택2009', '박용택2010', '박용택2011', '박용택2012', '박용택2013', '박용택2014', '박용택2015', '박용택2016', '박용택2017', '박용택2018', '박정권2004', '박정권2007', '박정권2008', '박정권2009', '박정권2010', '박정권2011', '박정권2012', '박정권2013', '박정권2014', '박정권2015', '박정권2016', '박정권2017', '박정권2018', '박정음2016', '박정음2017', '박준태2014', '박준태2015', '박지규2015', '박지규2018', '박찬도2014', '박찬도2015', '박한이2002', '박한이2003', '박한이2004', '박한이2005', '박한이2006', '박한이2007', '박한이2008', '박한이2009', '박한이2010', '박한이2011', '박한이2012', '박한이2013', '박한이2014', '박한이2015', '박한이2016', '박한이2018', '박해민2015', '박해민2016', '박해민2017', '박해민2018', '박헌도2013', '박헌도2014', '박헌도2015', '박헌도2016', '박헌도2017', '박헌도2018', '배영섭2011', '배영섭2012', '배영섭2013', '배영섭2016', '배영섭2017', '배영섭2018', '배정대2015', '배정대2016', '백민기2015', '백민기2018', '백상원2013', '백상원2014', '백상원2015', '백상원2016', '백상원2017', '백용환2014', '백용환2015', '백용환2016', '백용환2018', '백창수2010', '백창수2014', '백창수2015', '백창수2016', '백창수2018', '버나디나2017', '버나디나2018', '번즈2017', '번즈2018', '서건창2012', '서건창2013', '서건창2014', '서건창2015', '서건창2016', '서건창2017', '서건창2018', '서동욱2003', '서동욱2004', '서동욱2005', '서동욱2008', '서동욱2009', '서동욱2010', '서동욱2011', '서동욱2012', '서동욱2013', '서동욱2014', '서동욱2015', '서동욱2016', '서동욱2017', '서동욱2018', '서상우2016', '서상우2017', '손시헌2004', '손시헌2005', '손시헌2006', '손시헌2009', '손시헌2010', '손시헌2011', '손시헌2012', '손시헌2013', '손시헌2014', '손시헌2015', '손시헌2016', '손시헌2017', '손시헌2018', '손아섭2007', '손아섭2008', '손아섭2009', '손아섭2010', '손아섭2011', '손아섭2013', '손아섭2014', '손아섭2015', '손아섭2016', '손아섭2017', '손아섭2018', '손주인2005', '손주인2008', '손주인2009', '손주인2010', '손주인2011', '손주인2012', '손주인2013', '손주인2014', '손주인2015', '손주인2016', '손주인2017', '손주인2018', '송광민2006', '송광민2007', '송광민2008', '송광민2009', '송광민2010', '송광민2014', '송광민2015', '송광민2017', '송광민2018', '송민섭2015', '송민섭2018', '송성문2017', '스크럭스2017', '스크럭스2018', '신본기2012', '신본기2013', '신본기2014', '신본기2017', '신본기2018', '신성현2016', '신성현2017', '신성현2018', '신종길2003', '신종길2004', '신종길2011', '신종길2012', '신종길2013', '신종길2014', '신종길2015', '신종길2017', '심우준2015', '심우준2016', '심우준2017', '심우준2018', '안익훈2015', '안익훈2016', '안익훈2018', '안중열2015', '안중열2016', '안치홍2009', '안치홍2010', '안치홍2011', '안치홍2012', '안치홍2013', '안치홍2014', '안치홍2017', '안치홍2018', '양석환2015', '양석환2016', '양석환2017', '양석환2018', '양성우2012', '양성우2016', '양성우2017', '양성우2018', '양의지2010', '양의지2011', '양의지2012', '양의지2013', '양의지2014', '양의지2015', '양의지2016', '양의지2017', '양의지2018', '양종민2009', '양종민2010', '양종민2014', '양종민2015', '양종민2018', '엄태용2014', '오선진2008', '오선진2009', '오선진2010', '오선진2011', '오선진2012', '오선진2013', '오선진2016', '오선진2017', '오선진2018', '오재원2008', '오재원2009', '오재원2010', '오재원2011', '오재원2012', '오재원2013', '오재원2014', '오재원2015', '오재원2016', '오재원2017', '오재원2018', '오재일2009', '오재일2010', '오재일2011', '오재일2012', '오재일2013', '오재일2014', '오재일2015', '오재일2016', '오재일2017', '오재일2018', '오정복2010', '오정복2011', '오정복2014', '오정복2015', '오정복2016', '오정복2017', '오정복2018', '오지환2009', '오지환2010', '오지환2011', '오지환2012', '오지환2013', '오지환2014', '오지환2015', '오지환2017', '오지환2018', '오태곤2014', '오태곤2015', '오태곤2016', '오태곤2017', '오태곤2018', '유강남2012', '유강남2015', '유강남2016', '유강남2017', '유강남2018', '유민상2018', '유재신2008', '유재신2009', '유재신2012', '유재신2013', '유재신2014', '유재신2015', '유재신2016', '유재신2018', '유한준2005', '유한준2006', '유한준2007', '유한준2010', '유한준2011', '유한준2013', '유한준2014', '유한준2015', '유한준2016', '유한준2017', '유한준2018', '윤병호2015', '윤병호2016', '윤병호2017', '윤병호2018', '윤석민2005', '윤석민2007', '윤석민2011', '윤석민2012', '윤석민2014', '윤석민2015', '윤석민2016', '윤석민2017', '윤석민2018', '윤수강2012', '윤수강2018', '윤정우2011', '윤정우2012', '윤정우2016', '윤진호2011', '윤진호2012', '윤진호2015', '윤진호2016', '윤진호2018', '이대수2004', '이대수2005', '이대수2006', '이대수2007', '이대수2008', '이대수2009', '이대수2010', '이대수2011', '이대수2012', '이대수2013', '이대수2014', '이대수2015', '이대수2016', '이대수2017', '이대형2003', '이대형2005', '이대형2006', '이대형2007', '이대형2008', '이대형2009', '이대형2010', '이대형2011', '이대형2012', '이대형2013', '이대형2014', '이대형2015', '이대형2016', '이대형2017', '이대호2002', '이대호2004', '이대호2005', '이대호2006', '이대호2007', '이대호2008', '이대호2009', '이대호2010', '이대호2011', '이대호2017', '이대호2018', '이동훈2016', '이동훈2017', '이동훈2018', '이명기2010', '이명기2013', '이명기2015', '이명기2016', '이명기2017', '이명기2018', '이범호2002', '이범호2003', '이범호2004', '이범호2005', '이범호2006', '이범호2007', '이범호2008', '이범호2009', '이범호2011', '이범호2012', '이범호2013', '이범호2014', '이범호2015', '이범호2016', '이범호2017', '이범호2018', '이상호2013', '이상호2014', '이상호2017', '이상호2018', '이성곤2014', '이성곤2017', '이성곤2018', '이성열2005', '이성열2006', '이성열2007', '이성열2008', '이성열2009', '이성열2010', '이성열2011', '이성열2012', '이성열2013', '이성열2014', '이성열2015', '이성열2016', '이성열2017', '이성열2018', '이성우2008', '이성우2009', '이성우2010', '이성우2011', '이성우2013', '이성우2015', '이성우2016', '이성우2017', '이성우2018', '이영욱2008', '이영욱2009', '이영욱2010', '이영욱2011', '이영욱2015', '이영욱2016', '이영욱2017', '이영욱2018', '이용규2004', '이용규2005', '이용규2006', '이용규2007', '이용규2008', '이용규2009', '이용규2010', '이용규2011', '이용규2012', '이용규2013', '이용규2014', '이용규2015', '이용규2016', '이용규2018', '이우성2016', '이원석2005', '이원석2006', '이원석2007', '이원석2008', '이원석2009', '이원석2010', '이원석2011', '이원석2012', '이원석2014', '이원석2017', '이원석2018', '이인행2015', '이인행2017', '이재원2006', '이재원2007', '이재원2008', '이재원2010', '이재원2014', '이재원2015', '이재원2016', '이재원2017', '이재원2018', '이재율2016', '이재율2017', '이재율2018', '이정후2017', '이정후2018', '이종욱2006', '이종욱2007', '이종욱2008', '이종욱2009', '이종욱2010', '이종욱2011', '이종욱2012', '이종욱2013', '이종욱2014', '이종욱2015', '이종욱2016', '이종욱2018', '이준수2012', '이준수2013', '이준수2018', '이준호2011', '이준호2012', '이준호2013', '이지영2009', '이지영2012', '이지영2013', '이지영2014', '이지영2015', '이지영2016', '이지영2017', '이지영2018', '이진영2002', '이진영2003', '이진영2004', '이진영2005', '이진영2006', '이진영2007', '이진영2008', '이진영2009', '이진영2010', '이진영2011', '이진영2012', '이진영2013', '이진영2014', '이진영2015', '이진영2016', '이진영2017', '이진영2018', '이천웅2016', '이천웅2017', '이천웅2018', '이택근2003', '이택근2004', '이택근2005', '이택근2006', '이택근2007', '이택근2008', '이택근2009', '이택근2010', '이택근2012', '이택근2013', '이택근2014', '이택근2015', '이택근2016', '이택근2017', '이해창2011', '이해창2016', '이해창2017', '이해창2018', '이형종2016', '이형종2017', '이호신2007', '이호신2009', '이호신2015', '이호신2016', '이호신2017', '이흥련2014', '이흥련2015', '이흥련2016', '임병욱2015', '임병욱2016', '임병욱2017', '임병욱2018', '임종혁2014', '임훈2004', '임훈2010', '임훈2011', '임훈2012', '임훈2013', '임훈2014', '임훈2015', '임훈2016', '임훈2017', '임훈2018', '장민석2008', '장민석2010', '장민석2011', '장민석2012', '장민석2013', '장민석2014', '장민석2015', '장민석2016', '장민석2017', '장성우2009', '장성우2010', '장성우2011', '장성우2014', '장성우2015', '장성우2017', '장성우2018', '장승현2018', '장시윤2016', '장영석2009', '장영석2010', '장영석2011', '장영석2015', '장영석2016', '장영석2018', '장준원2016', '장진혁2018', '전병우2018', '전준우2008', '전준우2009', '전준우2010', '전준우2011', '전준우2012', '전준우2013', '전준우2014', '전준우2017', '전준우2018', '정경운2018', '정근우2005', '정근우2006', '정근우2007', '정근우2008', '정근우2009', '정근우2010', '정근우2011', '정근우2012', '정근우2013', '정근우2014', '정근우2016', '정근우2018', '정범모2006', '정범모2007', '정범모2008', '정범모2012', '정범모2013', '정범모2014', '정범모2018', '정병곤2013', '정병곤2017', '정상호2002', '정상호2003', '정상호2007', '정상호2008', '정상호2010', '정상호2011', '정상호2012', '정상호2014', '정상호2015', '정상호2016', '정상호2017', '정상호2018', '정성훈2002', '정성훈2003', '정성훈2004', '정성훈2005', '정성훈2006', '정성훈2007', '정성훈2008', '정성훈2009', '정성훈2010', '정성훈2011', '정성훈2012', '정성훈2013', '정성훈2014', '정성훈2015', '정성훈2016', '정성훈2017', '정성훈2018', '정수빈2009', '정수빈2010', '정수빈2011', '정수빈2012', '정수빈2013', '정수빈2014', '정수빈2015', '정수빈2016', '정의윤2005', '정의윤2006', '정의윤2008', '정의윤2011', '정의윤2013', '정의윤2014', '정의윤2015', '정의윤2016', '정의윤2017', '정의윤2018', '정주현2009', '정주현2010', '정주현2012', '정주현2013', '정주현2016', '정주현2018', '정주후2016', '정진기2011', '정진기2012', '정진기2017', '정진기2018', '정진호2011', '정진호2012', '정진호2015', '정진호2016', '정진호2017', '정진호2018', '정현2017', '정현2018', '정훈2011', '정훈2012', '정훈2013', '정훈2014', '정훈2015', '정훈2016', '정훈2017', '정훈2018', '조동찬2002', '조동찬2003', '조동찬2004', '조동찬2005', '조동찬2006', '조동찬2007', '조동찬2008', '조동찬2009', '조동찬2010', '조동찬2011', '조동찬2012', '조동찬2013', '조동찬2016', '조동찬2017', '조동찬2018', '조동화2005', '조동화2006', '조동화2007', '조동화2008', '조동화2009', '조동화2010', '조동화2011', '조동화2013', '조동화2014', '조동화2015', '조동화2016', '조수행2016', '조수행2017', '조수행2018', '조윤준2012', '조윤준2013', '조윤준2014', '조윤준2015', '조윤준2017', '조평호2013', '조평호2015', '조평호2016', '조평호2017', '조홍석2013', '조홍석2014', '조홍석2015', '조홍석2018', '주효상2016', '주효상2018', '지석훈2005', '지석훈2006', '지석훈2007', '지석훈2008', '지석훈2011', '지석훈2012', '지석훈2013', '지석훈2014', '지석훈2015', '지석훈2016', '지석훈2017', '지석훈2018', '지성준2015', '지성준2018', '채은성2014', '채은성2015', '채은성2016', '채은성2017', '채은성2018', '채태인2009', '채태인2010', '채태인2011', '채태인2012', '채태인2013', '채태인2014', '채태인2015', '채태인2016', '채태인2017', '채태인2018', '초이스2018', '최승준2014', '최승준2015', '최승준2016', '최승준2018', '최영진2013', '최영진2014', '최영진2017', '최영진2018', '최원제2017', '최원준2016', '최원준2017', '최원준2018', '최윤석2010', '최윤석2011', '최윤석2012', '최윤석2013', '최윤석2016', '최윤석2017', '최윤석2018', '최재훈2012', '최재훈2013', '최재훈2015', '최재훈2016', '최재훈2017', '최재훈2018', '최정2005', '최정2006', '최정2007', '최정2008', '최정2009', '최정2010', '최정2011', '최정2012', '최정2013', '최정2014', '최정2015', '최정2016', '최정2017', '최정2018', '최정민2015', '최정민2016', '최주환2008', '최주환2009', '최주환2012', '최주환2013', '최주환2014', '최주환2015', '최주환2016', '최주환2017', '최주환2018', '최준석2005', '최준석2006', '최준석2007', '최준석2008', '최준석2009', '최준석2010', '최준석2011', '최준석2012', '최준석2013', '최준석2014', '최준석2015', '최준석2016', '최준석2017', '최준석2018', '최진행2004', '최진행2005', '최진행2008', '최진행2009', '최진행2010', '최진행2011', '최진행2012', '최진행2013', '최진행2014', '최진행2015', '최진행2016', '최진행2017', '최진행2018', '최항2017', '최항2018', '최형우2002', '최형우2004', '최형우2008', '최형우2009', '최형우2010', '최형우2011', '최형우2012', '최형우2013', '최형우2014', '최형우2015', '최형우2016', '최형우2017', '최형우2018', '하주석2012', '하주석2013', '하주석2016', '하주석2017', '하주석2018', '하준호2015', '하준호2016', '하준호2017', '한동민2013', '한동민2014', '한동민2017', '한동민2018', '한동희2018', '한승택2013', '한승택2016', '한승택2017', '한승택2018', '허경민2012', '허경민2013', '허경민2014', '허경민2015', '허경민2016', '허경민2017', '허경민2018', '허도환2012', '허도환2013', '허도환2014', '허도환2016', '허도환2017', '허도환2018', '호잉2018', '홍성갑2015', '홍성갑2016', '홍성갑2017', '홍재호2011', '홍재호2012', '홍재호2013', '홍재호2017', '홍재호2018', '홍창기2016', '황윤호2015', '황윤호2016', '황윤호2017', '황윤호2018', '황재균2008', '황재균2009', '황재균2010', '황재균2011', '황재균2012', '황재균2013', '황재균2014', '황재균2015', '황재균2016', '황재균2018', '황진수2014']

# 교집합 된 데이터만 불러오기
regular_season_intersection = regular_season.loc[regular_season['new_index'].apply(lambda x : x in intersection_batter)]
regular_season_intersection.describe()

regular_season_intersection.sort_values(by='new_index').reset_index(drop=True)

# 프리시즌도 똑같이 작업했다.

preseason_intersection = preseason.loc[preseason['new_index'].apply(lambda x: x in intersection_batter)].copy()
preseason_intersection.sort_values(by='new_index').reset_index(drop=True)

# 이제 교집합이 분류가 되었는지 확인해 보았다.

print(regular_season_intersection.shape, preseason_intersection.shape)
display(pd.DataFrame([regular_season_intersection['new_index'], preseason_intersection['new_index']]))

'''
이름이 다르고 Nan인 부분이 굉장히 많았다.
분명 교집합으로 추출한거 같지만 실상 확인해 보니 교집합이 안되었다.
''';

(1358, 30) (1358, 30)

'''
그래서 다른 방법으로 시도해 보았다.
교집합을 만드는 과정부터 다시해 보았다.
'''

regular_season['new_index'] = regular_season['batter_name'] + regular_season['year'].apply(str)
preseason['new_index'] = preseason['batter_name'] + preseason['year'].apply(str)

intersection_batter = list(set(regular_season['new_index']).intersection(set(preseason['new_index'])))
print('교집합 된 선수의 수: ',len(intersection_batter))

regular_season_intersection = regular_season.loc[regular_season['new_index'].apply(lambda x : x in intersection_batter)]
regular_season_intersection = regular_season_intersection.sort_values(by='new_index').reset_index(drop=True)
preseason_intersection = preseason.loc[preseason['new_index'].apply(lambda x: x in intersection_batter)].copy()
preseason_intersection = preseason_intersection.sort_values(by='new_index').reset_index(drop=True)

print(regular_season_intersection.shape, preseason_intersection.shape)
print(sum(regular_season_intersection['new_index'] == preseason_intersection['new_index']))

'''
이유를 알아내었다.

regular_season_intersection.sort_values(by='new_index').reset_index(drop=True)
이 부분을 실행할 때 나는 다른 변수에 할당하지 않아도 변경되는줄 알았지만 다른 변수에 할당하여야 했다...
''';

교집합 된 선수의 수:  1358
(1358, 30) (1358, 30)
1358

# 상관관계 알아보기

correlation = regular_season_intersection['OPS'].corr(preseason_intersection['OPS'])
sns.scatterplot(x=regular_season_intersection['OPS'], y=preseason_intersection['OPS'])
plt.title('correlation(상관계수): '+ str(np.round(correlation, 2)), fontsize=20)
plt.xlabel('정규시즌 OPS', fontsize=12)
plt.ylabel('프리시즌 OPS', fontsize=12)

'''
scatter가 선형적인 모습을 보이지 않는 것으로 보아 상관관계는 거의 없다고 본다.
''';