# weight decay

3개의 포스트
post-thumbnail

Problem Setting and Regularization

training을 하기 위해서 결정해야 할 것들이 정말 많지만 각 hyperparameter 사이에 dependency가 있기 때문에 guess가 매우 어렵다. 그렇기 때문에 실제로 machine learning은 굉장히 반복적인 작업이다. Dataset 좋은 cho

2022년 4월 17일
·
0개의 댓글

딥러닝 overfitting

Artificial Neural Network

2021년 6월 10일
·
0개의 댓글

AdamW, L2 regularization, weight decay

L2 regularization에 대하여 자세한 정보를 찾아보던 중 좋은 글을 찾았다. AdamW의 논문에 대한 분석으로 총 2페이지로 구성이되어 있었다. L2 regularization과 weight decay에 대한 자세한 설명과 이로 인해 AdamW가 나오게 된 이유로 그림과 수식들을 통해 설명되어있다. https://hiddenbeginner....

2021년 2월 12일
·
0개의 댓글