탐색적 데이터 분석이란?

탐색적 데이터 분석(EDA, Exploratory Data Analysis)은 기존의 통계학이 정보의 추출 과정에서 가설 검정 등에 치우쳐 자료가 가지고 있는 본연의 의미를 찾는데 어려움이 있어, 이를 보완하고자 주어진 자료만 가지고도 충분한 정보를 찾을 수 있도록 하는 자료 분석 방법을 말한다.

탐색적 데이터 분석을 수행해야 하는 이유

• 수집된 데이터의 특성 및 분포를 파악해야 한다
• 결측치, 이상치의 존재 유무를 파악할 수 있다
• 탐색적 데이터 분석의 결과를 바탕으로 분석에 필요한 데이터 전처리를 수행할 수 있다
• 가장 적합한 분석 방법을 결정할 수 있다

다음은 엑셀에서 탐색적 데이터 분석을 수행하는 방법이다.

1. 데이터 분석 도구 활용

[파일]탭 → [옵션] → [추가 기능] → 분석 도구 (팩) 선택 → [이동] → 분석 도구 (팩) 체크 → [확인]

다음과 같이 추가 기능을 선택하면 여러 통계적 분석 기법을 사용할 수 있다.

여기서 기술 통계법은 입력 범위의 데이터에 대한 일변량 통계 보고서를 만들어 데이터의 중심 추세와 변동성에 대한 정보를 제공한다.

평균, 표준 오차, 중앙값, 최빈값, 표준 편차 등 다양한 통계량을 제공하는데 각각의 의미는 다음과 같다.

• 표준 오차 : 표본들의 평균의 전체 평균과 떨어져 있는 정도
• 중앙값 : 데이터를 순서대로 정렬했을 때 위치적으로 가장 중앙에 있는 값(ex. [1,2,3,4,5]의 중앙값은 3)
• 최빈값 : 가장 많이 반복되는 데이터
• 표준 편차 : 평균과 각 데이터들의 편차를 나타냄(분산의 제곱근 = 분산에 루트를 씌운 값)
• 분산 : 데이터가 평균을 기준으로 얼마나 분산되어 있는지(퍼져 있는지)를 의미(분산이 크면 데이터가 많이 분산되어 있음)
• 첨도 : 데이터 분포의 뾰족한 정도(값이 3이면 정규분포, 3보다 크면 납작한 분포, 3보다 작으면 뾰족한 분포)
• 왜도 : 데이터 분포가 치우쳐 있는 정도(평균과 중앙값이 같으면 왜도는 0, 왜도가 양수이면 오른쪽으로 꼬리가 긴 분포, 왜도가 음수이면, 왼쪽으로 꼬리가 긴 분포)
  또한 각각의 통계량은 엑셀의 함수로도 확인할 수 있다.

• 합계 : SUM
• 평균 : AVERAGE
• 최대값 : MAX
• 최소값 : MIN
• 중앙값 : MEDIAN
• 최빈값 : MODE
• 분산 : VAR
• 표준편차 : STDEV

2. 피벗 테이블 활용

피벗 테이블(Pivot Table)이란 간단하게 데이터를 요약하는 통계표를 말한다.
피벗 테이블을 만드는 방법은 [삽입]탭 → [피벗 테이블] 클릭 → 데이터 선택 으로 만들 수 있다.

피벗 테이블 필드를 보면 필터, 열과 행, 값이 보이는데 이 곳에 원하는 데이터를 드래그 앤 드랍이나 체크박스를 선택하는 방법으로 요약된 데이터 통계표를 만들 수 있다.

또한 [삽입] 탭 → [슬라이서] 를 통해 원하는 데이터를 선택하여 그 데이터의 해당하는 값만 필터링해서 보여줄 수 있다.

3. 결측치와 이상치 탐색

• 결측치(Missing Value) : 데이터에 값이 없는 것
  NA : Not Available (유효하지 않은)
  NaN : Not a Number (숫자가 아닌)
  Null : 아무것도 존재하지 않음을 의미
  빈 칸 : 데이터가 입력되지 않음

결측치 처리 방법은 그 결측치의 유형 및 비율에 따라 세 가지로 구분된다.

1. 제거 : 결측치가 발생한 행, 열을 삭제하는 가장 쉽고, 단순한 방식 → 결측치를 제거하면 결측치가 없는 완벽한 데이터 셋을 만들 수 있지만, 결측치가 포함된 데이터가 모두 삭제되어 데이터의 크기의 손실 발생 → 경우에 따라 결측치를 무시하고 관측치만으로 분석을 시행할 경우 통계적 편향이 생길 가능성이 커짐
2. 치환 : 결측치를 적당한 방법으로 대체하는 것 → 데이터의 특성에 맞게 적당한 평균, 중앙값, 최빈값 등으로 대체 가능하나, 평균값 등으로 단순 대체하는 방법은 자료의 편향성을 높이고 특성들 간의 상관 관계를 왜곡할 수 있음 → 데이터에 대한 도메인 지식이 있어야 효율적으로, 정확히 결측치 대체 가능
3. 모델 기반 처리 : 결측치를 예측하는 새로운 모델을 구성해, 결측치를 채워 나가는 방식 → 변수의 특성에 따라 Knn, PolyRegression 등의 방법을 활용해 모델에 알맞게 결측치를 제거하거나 대체하는 방법

• 이상치 : 특정 지정된 그룹에 분류되지 못하는 값으로, 정상군의 상한과 하한의 범위를 벗어나 있거나 패턴에서 벗어난 수치 → 일반적으로 -3σ(표준편차) 미만, +3σ 초과인 값을 이상치로 판정

이상치를 탐지하는 방법은 두 가지가 있다.

1. IQR을 활용한 이상치 탐지
   IQR(Inter Quartile Range) : 1사분위수와 3사분위수 간의 거리 = 3사분위수 - 1사분위수
   여기서 1사분위수를 Q1이라 하고, 3사분위수를 Q3라고 할 때, 이상치는 Q1 - 1.5 IQR보다 작거나, Q3 + 1.5 IQR보다 큰 값을 이상치로 한다.
2. Z-Score를 활용한 이상치 탐지
   $z=$ $x-\mu\over\sigma$ (여기서 $/mu$는 평균, $/sigma$는 표준편차를 의미)
   Z-Score가 3 이상이거나 -3 이하면 일반적으로 이상치로 판단한다.
3. Boxplot을 활용한 이상치 탐지
   Box Plot (상자 도표) : 5개의 수치적 자료를 활용해 데이터의 분포와 범위를 표현한 그래프
   
   다음에서 최대값 범위를 벗어난 값을 이상치로 판단한다.

Box Plot을 그리는 방법
[삽입]탭 → [통계 차트 삽입] 클릭 → [상자 수염]

4. 상관 분석과 산점도를 활용한 EDA

• 상관 분석 : 두 변수가 어떤 선형적 관계를 갖고 있는지를 분석하는 방법
• 상관 관계 : 한쪽이 증가하면 다른 쪽도 증가하거나 반대로 감소되는 경향을 인정하는 두 양(量) 사이의 통계적 관계
• 상관 계수 : 상관 계수 r은 두 변수 사이의 상관성을 나타내며 일반적으로 피어슨(Pearson) 상관 계수를 사용, 상관 계수가 1에 가까울 수록 양의 상관 관계(정비례), -1에 가까울수록 음의 상관 관계(반비례)

일반적으로 상관 계수의 절댓값이 0.7이상이면 강한 상관관계를 가진다고 본다.

상관 분석은 [데이터]탭 → [데이터 분석] → [상관 분석]을 통해 확인할 수 있다.

다음은 매출, 기간, 광고비 등 주요 지표 변수들의 상관계수를 파악한 것이다. 여기서 조건부 서식을 활용해 강한 상관 관계가 있다고 판단되는 값을 빨간색으로 표시했다.

EDA에서 상관 분석은 인과 관계가 있을 것으로 예상되는 변수들을 선별해 분석의 우선순위를 정할 수 있지만, 강한 상관 관계를 가지고 있다고 해서 두 변수가 반드시 인과 관계를 가지는 것은 아니기 때문에 상관 관계를 무조건적으로 맹신해서는 안된다.

산점도 : 데이터를 점으로 표현해 흩어져 있는 정도를 파악하는 그래프

다음은 위 상관 관계를 참고하여 그린 산점도이다.
강한 상관 관계를 가질수록 데이터가 추세선에 집중되어 있는 것을 확인할 수 있다.