최적화(Optimization)
옵티마이저(Optimizer)
이다.경사하강법
SGD
Adam
+ 옵티마이저의 발달 계보
🅀 일부 데이터만을 가지고 가중치를 업데이트하면, 부정확한 결과가 나오지 않을까?
💡 경사하강법의 국소 최솟값(Local Minima)에 빠질 수 있다는 단점을 보완 -> 전역 최솟값(Global Minima)으로 이동 가능
optimizer = optim.SGD(model.parameters(), lr=0.01)
활성화 함수
, 손실 함수
에서 옵티마이저 코드 부분과 결합optimizer = optim.Adam(model.parameters(), lr=0.01)
[출처 | 딥다이브 Code.zip 매거진]