어려워 보이는 용어들이지만, 역시 제대로 이해한다면 이후 ML과 DL의 난이도가 확연히 낮아집니다. 지금이라도 확실히 이해하고 가도록 합시다.
Regularization의 방법으로는 L1 reg과 L2 reg, Dropout, Early stopping 등이 있습니다.
L1 정규화, L2 정규화의 차이점에 대해 서술하고, L2 수식에서의 기울기가 어느 부분에 적용되어 있는지 해설하세요.
- 어떤 때 L1(L2)를 사용하는지도 파악해 적으면 더 좋습니다.
L1 Regularization (Lasso)
L1 reg(Lasso)의 경우 overffition을 보완하고자 유의미 하지 않는(sparse한 feature)값을 0으로 만들어주는 규제를 주고 학습을 해줍니다.
L2 Regularization (Ridge)
L2 reg(Ridge)의 경우에도 L1 reg와 동일하게 학습할때 규제를 주지만 L1 reg처럼 0으로 만들지 않고 아주 낮은 weight값을 가지도록 값을 낮추고 학습을 하는 것입니다.
위 수식에서 sigma 기호에 있는 건 loss function이며, |w|는 feature의 weight값이고 기울기는 lambda에 해당합니다.
-
feature간 collinearity할 경우 L2 reg(Ridge)를 사용하면 좀 더 좋은 성능을 낼 수 있습니다.
-
L1 reg(Lasso)는 유의미 하지 않는 값을 0으로 하기 때문에 feature selection의 효과를 낼 수 있습니다.
ENTJ-A