pandas

• pandas란 Python Data Analysis Library의 약자로 정형 데이터 분석에 최적화된 라이브러리이다.
• 2008년에 만들어졌으며, 2009년에 오픈소스가 되었다.
• 정형 데이터를 효율적으로 표현할 수 있는 DataFrame 형태로 모든 데이터를 표현한다.
• 다양한 데이터 조작 기능을 제공한다.
• 벡터 연산에 최적화되어 있으며, 이는 numpy와 연관성이 있다.

import pandas as pd

df = pd.DataFrame(np.random.randn(5, 3))
df.head()

pandas를 사용해야 하는 이유

• 대부분의 정제된 데이터들은 테이블 형태로 표현되며, 이런 테이블 형태의 데이터를 분석하기에 최적의 라이브러리이다.
• 정형화된 데이터 연산에 최적화 되어 있으며, 성능이 매우 뛰어나다.
• 다양한 정형 데이터를 통합 관리할 수 있고, json, html, csv, xlsx, hdf5, sql 등을 DataFrame으로 통일해서 표현될 수 있다.
• 엑셀에서 제공하는 연산 기능을 거의 다 제공한다.

DataFrame

• pandas 라이브러리가 사용하는 기본 자료구조로 2차원 테이블 구조를 말한다.
• DataFrame에서 1차원의 구조를 가져오면 series다.
• row, column으로 모든 원소를 구분한다.
• index, columns, values라는 객체 변수를 가지고 있다.
• 관계형 DB와 완전히 호환된다.
• 하나의 column을 기준으로 모든 원소의 data type이 동일하다.
• DataFrame은 numpy array를 상위 호환하는 개념으로 universal function을 사용할 수 있다.

DataFrame 생성

import pandas as pd
import numpy as np

# 1, 3, 5, np.nan, 6, 8을 원소로 가지는 pandas.Series 생성
pd.Series([1, 3, 5, np.nan, 6, 8])

# 12x4 행렬에 1부터 48까지의 숫자를 원소를 가지고, index는 0부터 시작하고, coulmns은 순서대로 X1, X2, X3, X4로 하는 DataFrame 생성
df = pd.DataFrame(data=np.arange(1, 49).reshape(12, 4),
                  index=np.arange(12),
                  columns=["X1", "X2", "X3", "X4"])

기본 값 불러오기

# dataframe index
df.index

# dataframe columns
df.columns

# dataframe values
df.values

# 특정 column을 가져오기
df["X2"] # dictionary like

# X1 column에 2 더하기
#df["X1"] = df["X1"] + 2
df["X1"] + 2

DataFrame 기초 함수

# dataframe의 맨 위 다섯줄을 보여주는 head() --> 5줄 display
df.head()

# 10줄
df.head(10)

# dataframe의 맨 밑 다섯줄을 보여주는 head() --> 5줄 display
df.tail()

# dataframe에 대한 전체적인 요약정보 표시
df.info()

# dataframe에 대한 전체적인 통계정보 표시
df.describe()

# X2 column를 기준으로 내림차순 정렬
df.sort_values(by="X2", ascending=False)

Fancy Indexing

• iloc은 index를 활용한 location 지정 방법.
• loc은 index를 활용하지 않고 직접 index 및 column명을 통해 지정하는 방법.

# X1 column을 indexing == df["X1"]
df.X1

# 앞에서 3줄을 slicing
df[:3]

# df에서 index value를 기준으로 indexing도 가능 == df.index[0]
df.loc[0]

# loc 2차원 indexing
df.loc[[0, 1, 4, 6, 10], ["X1", "X3"]]

# dataframe에 조건식을 적용
df[df["X3"] % 3 == 0]

# integer-location based indexing
df.iloc[5]

# iloc 2차원 indexing
df.iloc[[3, 4], [0, 1]]

여러 DataFrame 합치기

df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'], 
                    'B': ['B0', 'B1', 'B2', 'B3'],
                    'C': ['C0', 'C1', 'C2', 'C3'],
                    'D': ['D0', 'D1', 'D2', 'D3']},
                   index=[0, 1, 2, 3])

df2 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
                    'B': ['B4', 'B5', 'B6', 'B7'],
                    'C': ['C4', 'C5', 'C6', 'C7'],
                    'D': ['D4', 'D5', 'D6', 'D7']},
                   index=[0, 1, 2, 3])

df3 = pd.DataFrame({'A': ['A8', 'A9', 'A10', 'A11'],
                    'B': ['B8', 'B9', 'B10', 'B11'],
                    'C': ['C8', 'C9', 'C10', 'C11'],
                    'D': ['D8', 'D9', 'D10', 'D11']},
                   index=[0, 1, 2, 3])

다음과 같은 데이터프레임이 주어졌을때 데이터프레임을 합치고 싶으면 merge 함수를 사용할 수 있다.

# SQL과 같이 join operation을 사용할 수 있다
pd.merge(df1, df2, on="A", how="outer")

# left join
pd.merge(df1, df2, on="A", how="left")

# 그냥 합치기 (concatenation)
pd.concat([df1, df2, df3], axis=0).reset_index(drop=True)