AdamW, L2 regularization, weight decay

Dongbin Lee·2021년 2월 12일
0

AI study

목록 보기
2/6

L2 regularization에 대하여 자세한 정보를 찾아보던 중 좋은 글을 찾았다.

AdamW의 논문에 대한 분석으로 총 2페이지로 구성이되어 있었다.

L2 regularization과 weight decay에 대한 자세한 설명과 이로 인해 AdamW가 나오게 된 이유로 그림과 수식들을 통해 설명되어있다.

https://hiddenbeginner.github.io/deeplearning/paperreview/2019/12/29/paper_review_AdamW.html

profile
Preparation student who dreams of becoming an AI engineer.

0개의 댓글