KBO 타자 OPS 예측 경진대회 - 2

import pandas as pd
import matplotlib.pyplot as plt
import matplotlib
import matplotlib.font_manager as fm
import os
import seaborn as sns
from IPython.display import display
import numpy as np
import re
import json


pd.options.display.max_columns = None
%matplotlib inline

# 한글 폰트
plt.rcParams['font.family'] = 'NanumGothic'
# 마이너스 깨짐 방지
matplotlib.rcParams['axes.unicode_minus'] = False

# 나눔 폰트 경로 설정
font_path = '/usr/share/fonts/truetype/nanum/NanumGothic.ttf'  # 나눔 고딕의 경로
font_prop = fm.FontProperties(fname=font_path).get_name()

# 한글 폰트 설정
matplotlib.rcParams['font.family'] = font_prop

# 전역 팔레트 설정 (예: 'Set2' 팔레트 사용)
sns.set_palette('Set2')

os.listdir('./datas')

['Pre_Season_Batter.csv',
 'Regular_Season_Batter.csv',
 'Pre_Season_Batter copy.csv',
 'submission.csv',
 'Regular_Season_Batter_copy.csv',
 'Regular_Season_Batter_Day_by_Day_b4.csv']

pd.read_csv('./datas/Regular_Season_Batter.csv').head()

# 프리시즌 데이터 확인

preseason = pd.read_csv('./datas/Pre_Season_Batter.csv')
print(preseason.shape)
print()
print(preseason.info())
preseason.head()

(1393, 29)

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1393 entries, 0 to 1392
Data columns (total 29 columns):
 #   Column           Non-Null Count  Dtype  
---  ------           --------------  -----  
 0   batter_id        1393 non-null   int64  
 1   batter_name      1393 non-null   object 
 2   year             1393 non-null   int64  
 3   team             1393 non-null   object 
 4   avg              1393 non-null   object 
 5   G                1393 non-null   int64  
 6   AB               1393 non-null   int64  
 7   R                1393 non-null   int64  
 8   H                1393 non-null   int64  
 9   2B               1393 non-null   int64  
 10  3B               1393 non-null   int64  
 11  HR               1393 non-null   int64  
 12  TB               1393 non-null   int64  
 13  RBI              1393 non-null   int64  
 14  SB               1393 non-null   int64  
 15  CS               1393 non-null   int64  
 16  BB               1393 non-null   int64  
 17  HBP              1393 non-null   int64  
 18  SO               1393 non-null   int64  
 19  GDP              1393 non-null   int64  
 20  SLG              1364 non-null   float64
 21  OBP              1368 non-null   float64
 22  E                1393 non-null   int64  
 23  height/weight    1393 non-null   object 
 24  year_born        1393 non-null   object 
 25  position         1393 non-null   object 
 26  career           1393 non-null   object 
 27  starting_salary  1179 non-null   object 
 28  OPS              1364 non-null   float64
dtypes: float64(3), int64(18), object(8)
memory usage: 315.7+ KB
None

# 데이터 기초 통계량

'''
1. 선수는 총 1393명이 있다.
2. 데이터는 2002년부터 2018년까지 존재한다.
'''

preseason.describe()

'''
프리시즌은 연습경기이기 때문에 많은 데이터가 0쪽에 가깝다.
예를 들어 1년에 일반적인 정규타석을 채우지 않았고, 득전, 타수, 안타 등이 0에 가깝다.
또한 데이터의 양은 과거보다 최근에 가까워 질수록 많아진다.
'''

preseason.hist(figsize=(20,9))
plt.tight_layout()
plt.show()

'''
데이터의 개수가 적어서 그런가 대부분의 연도의 OPS의 중앙값이 비슷하다.
'''
plt.figure(figsize=(20,5))
sns.boxplot(x='year', y='OPS', data=preseason, showfliers=False)

<Axes: xlabel='year', ylabel='OPS'>

'''
몇 몇 선수들을 추출해 OPS를 비교해 보았다.

그러던 도중 결측값이 있는 것을 발견하였다.
'''

preseason_df_2002 = preseason[preseason['year'] == 2002]
preseason_df_2002.head()

'''
결측값의 개수를 확인해 보았다.
'''

for i, j in preseason.isnull().sum().items():
    if not j == 0:
        print(i, j)
        
'''
nan 값이 있는 행만 추출해 보았다.

그 중에서 starting_salary부분이 nan인 경우는 제외 하였다.
'''
preseason[preseason.isna().any(axis=1) & preseason['starting_salary'].notna()].head()

SLG 29
OBP 25
starting_salary 214
OPS 29

'''
장타율과 출루율이 계산되지 않아 OPS가 NaN이 나온것을 확인 하였다.
검색해 보니 장타율 같은 경우에는 (3루타 + 2루타 + 홈런) / 안타 로 계산하는데 이것은 TBS식 장타율이라고 한다.
다른 데이터와 비교하여 TBS식 장타율로 계산되었으면 이것도 같은 방법으로 계산하여 채우려고 한다.
'''

# 3루타, 2루타, 홈런, 안타를 추출하여 계산
print(f'clac_SLG: {preseason.loc[0, ["3B", "2B", "HR"]].sum() / preseason.loc[0, ["H"]]}')
print(f'orig_SLG: {preseason.loc[0, "SLG"]}')
print()

'''
계산해 보니 다르다.
알고보니 이것은 일본 TBS 테레비의 루즈밸트 게임 드라마에서 나온 잘못된 계산식이라고 한다.

조금 더 찾아보니 다른 식을 찾을 수 있었다.
(1루타(단타) x 1 + 2루타 x 2 + 3루타 x 3 + 홈런 x 4) / 타수
'''

# 안타, 2루타, 3루타, 홈런을 추출하여 각각 1, 2, 3, 4씩 곱하고 이후 타수만큼 나눈다.
cnt = 1
SLG = 0
for i in preseason.loc[0, ['H', '2B', '3B', 'HR']]:
    SLG += i * cnt
    cnt += 1

SLG = SLG / preseason.loc[0, "AB"]
print(f'clac_SLG: {SLG}')
print(f'orig_SLG: {preseason.loc[0, "SLG"]}')
print()

'''
약 0.1 정도의 오차가 발생하였다.
어디서 잘못 되었나 좀 더 찾아보니
단타는 총 안타에서 2, 3루타 그리고 홈런을 제외한 숫자를 의미한다.
그러면 단타는 안타의 개수는 7이 아니라 2루타와 홈런을 제외한 5가 된다.
이것을 기반으로 다시 계산하였다.
'''

H = preseason.loc[0, 'H'] - preseason.loc[0, ['2B', '3B', 'HR']].sum()
cnt = 2
SLG = H
for i in preseason.loc[0, ['2B', '3B', 'HR']]:
    SLG += i * cnt
    cnt += 1

SLG = SLG / preseason.loc[0, "AB"]
print(f'clac_SLG: {SLG}')
print(f'orig_SLG: {preseason.loc[0, "SLG"]}')

clac_SLG: H    0.285714
Name: 0, dtype: object
orig_SLG: 0.55

clac_SLG: 0.65
orig_SLG: 0.55

clac_SLG: 0.55
orig_SLG: 0.55

'''
이제 저 계산식을 기반으로 NaN 값을 채우려고 한다.

이제 SLG는 다 채웠으니 OBP만 채우면 된다.
'''

def SLG_calc(row):
    # SLG가 NaN이 아닐 경우 그대로 반환
    if pd.notna(row['SLG']):
        return row['SLG']
    # 타수가 없는 경우
    if pd.notna(row['AB']) or row['AB'] == 0:
        return 0
    H = row['H'] - row[['2B', '3B', 'HR']].sum()
    SLG = (H + row['2B'] * 2 + row['3B'] * 3 + row['HR'] * 4) / row['AB']

    return SLG
    
display(preseason.head())
print()
preseason['SLG'] = preseason.apply(SLG_calc, axis=1)
display(preseason.head())

for i, j in preseason.isnull().sum().items():
    if not j == 0:
        print(i, j)

OBP 25
starting_salary 214
OPS 29

'''
출루율의 계산 공식은 아래와 같다.
(안타 + 볼넷 + 사구) / (타수 + 볼넷 + 사구 + 희생 플라이)

하지만 주어진 데이터에는 희생 플라이는 존재하지 않는다.
그렇기 때문에 일단 0으로 두고 계산해 보았다.

이것으로 한 번 계산해 보았다.
'''

print(f'clac_OPS: {preseason.loc[0, ["H", "BB", "HBP"]].sum() / preseason.loc[0, ["AB", "BB", "HBP"]].sum()}')
print(f'orig_OPS: {preseason.loc[0, ["OBP"]]}')

'''
제대로 된 계산식임을 확인 하였기에 위와 똑같이 채워 주었다.
'''

def OBP_calc(row):
    # OBP가 NaN이 아닐 경우 그대로 반환
    if pd.notna(row['OBP']):
        return row['OBP']
    
    denominator = row[['H', 'BB', 'HBP']].sum()
    numerator = row[['AB', 'BB', 'HBP']].sum()
    
    # 분모 또는 분자가 0 인경우
    if denominator == 0 or numerator == 0:
        return 0
    
    OBP = denominator / numerator
    return OBP

preseason['OBP'] = preseason.apply(OBP_calc, axis=1)
display(preseason.head())

for i, j in preseason.isnull().sum().items():
    if not j == 0:
        print(i, j)

clac_OPS: 0.4090909090909091
orig_OPS: OBP    0.409
Name: 0, dtype: object

starting_salary 214
OPS 29

# OPS 계산
# OPS = SLG + OPB

def OPS_clac(row):
    return row[['SLG', 'OBP']].sum()

preseason['OPS'] = preseason.apply(OPS_clac, axis=1)
display(preseason)
for i, j in preseason.isnull().sum().items():
    if not j == 0:
        print(i, j)

starting_salary 214

# 데이터 저장
preseason.to_csv('./datas/Pre_Season_Batter.csv', encoding='utf-8-sig', index=False)

# 불러오기
preseason = pd.read_csv('./datas/Pre_Season_Batter.csv')
for i, j in preseason.isnull().sum().items():
    if not j == 0:
        print(i, j)

starting_salary 214