💦 왜 다들 내 코드를 보고 화장실을 가는지 모르겠어

킹갓 datamanim 덕에 고질적인 전처리장애를 어느정도 해결할 수 있었다. 경배.
https://www.datamanim.com/dataset/99_pandas/pandasMain.html

9. Column 이름에 한글이 포함되어 있을 경우 어떻게 불러오니?

# cp949 / euc-kr 이용하여 UnicodeDecodeError 해결
import pandas as pd
df = pd.read_csv("web주소 or 파일경로",encoding='cp949' or 'euc-kr')

11. 수치형 변수를 가진 column을 출력해보거라

# df.info()로 각 행의 type이 무엇인지 우선 확인할 수 있다.
# 범주형은 type = object
df_num = df.select_dtypes(include=['int','float'])
df_num.columns

13. 각 column의 결측치 숫자를 파악하라

df.isnull().sum(axis=0)
# axis=1이라면 행 기준 sum. 기본값은 axis=0으로 설정되어 있다.

15. 각 수치형 변수의 분포(사분위, 평균, 표준편차, 최대 , 최소)를 확인하라

# 일일이 수치형 변수 column 살려주지 않아도 한번에 가능
df.describe()

17. 평균 속도의 4분위수(IQR)를 구하여라

df["평균 속도"].quantile(0.75) - df["평균 속도"].quantile(0.25)

18. 읍면동명 Column의 유일값 갯수를 출력하라

len(df["읍면동명"].unique())
# 위처럼 복잡하기 할 수도 있지만, nunique를 이용하면 더 빠르다
df["읍면동명"].nunique() 

Group 2. Filtering & Sorting

21. quantity column 값이 3인 데이터를 추출하여 첫 5행을 출력하라

# df[조건] 이라고 쓰면 조건을 만족하는 애들만 따로 뽑아서 DataFrame 만들 수 있다. 
df[df["quantity"] == 3).head()

23. quantity, item_name 두개의 column으로 구성된 새로운 DataFrame 정의하라

df.loc[:,["quantity","item_name"]]

24. item_price 컬럼의 달러표시 문자를 제거하고 float 타입으로 저장하여 new_price 컬럼에 저장하라

df["new_price"] = df["item_price"].str[1:].astype('float')

27. new_price값이 9 이하이고 item_name 값이 Chicken Salad Bowl 인 데이터 프레임을 추출하라

df_c = df.loc[(df["item_name"]== 'Chicken Salad Bowl') & (df["new_price"]<=9)]

29. df의 item_name 컬럼 값중 Chips 포함하는 경우의 데이터를 출력하라

# .str.contains 메서드로 특정 문구 포함하는 데이터 출력함
df_chips = df.loc[df["item_name"].str.contains('Chips')]

Group 4. Apply, Map

57. Income_Category의 카테고리를 map 함수를 이용하여 다음과 같이 변경하여 newIncome 컬럼에 매핑하라 Unknown : N
    Less than $40K : a
    $40K - $60K : b
    $60K - $80K : c
    $80K - $120K : d
    $120K +’ : e

incomedic = { 
    'Unknown' : 'N',
    'Less than $40K' : 'a',
    '$40K - $60K' : 'b',
    '$60K - $80K' : 'c',
    '$80K - $120K' : 'd',
    '$120K +' : 'e'}
df["new_income"] = df.Income_Category.map(lambda x : incomedic[x])
df.head()

58. Income_Category의 카테고리를 apply 함수를 이용하여 다음과 같이 변경하여 newIncome 컬럼에 매핑하라

def changeCategory(x):
    if x =='Unknown':
        return 'N'
    elif x =='Less than $40K':
        return 'a'
    elif x =='$40K - $60K':   
        return 'b'
    elif x =='$60K - $80K':    
        return 'c'
    elif x =='$80K - $120K':   
        return 'd'
    elif x =='$120K +' :     
        return 'e'

df['newIncome']  =df.Income_Category.apply(changeCategory)

59. Customer_Age의 값을 이용하여 나이 구간을 AgeState 컬럼으로 정의하라. (0~9 : 0 , 10~19 :10 , 20~29 :20 … 각 구간의 빈도수를 출력하라

df["Age_State"] = df.Customer_Age.map(lambda x : (x//10) * 10)
df.Age_State.value_counts().sort_index()

60. Education_Level의 값중 Graduate단어가 포함되는 값은 1 그렇지 않은 경우에는 0으로 변경하여 newEduLevel 컬럼을 정의하고 빈도수를 출력하라

df['newEduLevel'] = df.Education_Level.map(lambda x : 1 if 'Graduate' in x else 0)
Ans = df['newEduLevel'].value_counts()

62. Marital_Status 컬럼값이 Married 이고 Card_Category 컬럼의 값이 Platinum인 경우 1 그외의 경우에는 모두 0으로 하는 newState컬럼을 정의하라. newState의 각 값들의 빈도수를 출력하라

# 여기서는 x가 data frame으로 인식되도록 함. apply 할 때도 df레벨에서 적용한다.
def check(x):
    if x.Marital_Status =='Married' and x.Card_Category =='Platinum':
        return 1
    else:
        return 0
df['newState'] = df.apply(check,axis=1)
# column 방향 계산이므로 axis = 1
df['newState'].value_counts()

63. Gender 컬럼값 M인 경우 male F인 경우 female로 값을 변경하여 Gender 컬럼에 새롭게 정의하라. 각 value의 빈도를 출력하라

def change(x):
    if x["Gender"] == 'M':
        return 'Male'
    elif x["Gender"] == 'F':
        return 'Female'
df["Gender"] = df.apply(change,axis=1)
df["Gender"].value_counts()

Group 5. Time Series

65-0. 각 Column의 데이터 타입 파악하기

df=pd.read_csv("파일 경로 혹은 Url.csv")
df.info()

65. Yr_Mo_Dy을 판다스에서 인식할 수 있는 datetime64타입으로 변경하라

df.Yr_Mo_Dy = pd.to_datetime(df.Yr_Mo_Dy)
혹은, 
df.Yr_Mo_Dy = df.Yr_Mo_Dy.astype('datetime64')

66. Yr_Mo_Dy에 존재하는 년도의 유일값을 모두 출력하라

# datetime 형식으로 맞춘 정보들은 dt.year dt.month 따위로 호출이 가능하다!
df.Yr_Mo_Dy.dt.year.unique()

Group 6. Pivot

83. Indicator을 삭제하고 First Tooltip 컬럼에서 신뢰구간에 해당하는 표현을 지워라

df2.drop('Indicator',axis = 1)
df2["First Tooltip"] = df2["First Tooltip"].map(lambda x : float(x.split("[")[0]))

85. 84번 문제에서 추출한 데이터로 아래와 같이 나라에 따른 년도별 사망률을 데이터 프레임화 하라

Group 7. Merge & Concat

91-0. DataFrame 불러올 때 index column이 자동적으로 생기게 되는데(0,1,2...), index_col = 0 으로 보정 가능

df=pd.read_csv("파일 경로 혹은 Url.csv",index_col=0) 

91. df1과 df2 데이터를 하나의 데이터 프레임으로 합쳐라

# column의 개수 같을 경우 뒤에 이어서 붙이는 작업
pd.concat([df1,df2])

92-3. df3과 df4 데이터를 하나의 데이터 프레임으로 합쳐라. concat()

case 1. join = 'inner'
# 두 DataFrame의 row와 column중 겹치는 column에 대해서만 합침
pd.concat([df3,df4],join='inner')

case 2. join = 'outer'
# 두 DataFrame의 row와 column 모두 살려서 결측치는 NaN으로 채움
pd.concat([df3,df4],join='outer').fillna(0)

94-95. df5와 df6 데이터를 하나의 데이터 프레임으로 합쳐라. merge()

# concat과의 차이는 '특정 공통열' 기준으로 합치려고 할 때
Algeria컬럼을 key로 하고 두 데이터 모두 포함하는 데이터만 출력하라
pd.merge(df5,df6,on='Algeria',how='inner')