정규화의 종류

Scaling? Normalization? (정규화)

데이터의 분포는 변하지 않고 기존 데이터와 동일한 비율을 유지한 채 범위를 조정하는 것.

• 독립된 여러개의 변수를 사용할 때 각 변수 별로 단위가 다를 경우, 학습 시에 미치는 중요도가 달라지는 문제를 방지

• min max

  $x_{new} = { {x-x_{max}}\over {x_{max}-x_{min}}}$

• max abs
  

• Robust

  $x_{new} = { {x-x_{median}}\over IQR}$

• Standard

Standardization (표준화)

평균으로 구한 분포의 표준편차를 1로 맞추기 위해 데이터를 바꾸는 것.데이터를 평균 0, 표준편차 1인 표준정규분포로 만들어주는 기법

• 정규분포를 표준 정규분포로 변환시켜주어 서로 다른 자료들을 쉽게 비교 분석할 수 있도록 만들어준다
• Z-score Normailization
  $x_{new} = { {x-mean}\over std}$

Regularization

가중치를 조정할 때 추가적인 제약을 주는 것.

• 학습데이터에 대한 민감도를 낮춰준다
• 과적합 방지를 위해 사용
• Ridge
• Lasso
• Elastic Net

---

ref
https://blog.nerdfactory.ai/2021/06/15/Normalization-Theorem-1.html