Normalization and Whitening

Referenced: https://cvml.tistory.com/5, https://hwiyong.tistory.com/91, https://lifeignite.tistory.com/47

Normalization

데이터를 동일한 범위 내의 값을 갖도록 하는 기법

• standardization: 데이터의 mean을 0, std를 1로 변환하여 정규화

• MinMaxScaling: 데이터를 [min, max]의 범위 사이로 데이터를 매핑, 일반적으로 [0, 1]을 사용

• Robust Normalization: 평균과 표준편차 대신 사분위 값을 이용해 정규화, 이상치에 영향을 덜 받을 수 있음

Whitening

데이터의 평균을 0, 공분산을 단위행렬로 갖는 정규분포 형태로 변환하는 기법

• PCA를 통해서 각 feature들을 재가공한다. 이를 통해서 Feature간의 correlation을 감소시킨다. 즉, 중복(redundant)되는 정보를 제거한다.
• 모든 Feature들이 동일한 scale을 가지도록 한다.