경사하강법

• SGD 방법은 1차 미분을 활용한 경사 하강법
• 현재 기계 학습의 주류 알고리즘
• 경사도에 잡음이 있는 문제가 잇음
• 위 문제를 2차 미분 정보를 활용하려고 함

경사하강법을 더 빠르게?

• 파란 경로는 현재 경사하강법이 해를 찾아가는 과정
• 1차 미분으로는 빨간 경로를 찾을 수 없음
• 도달한 다음 도착지에 대한 기울기만 알 수 있기 때문
• 뉴턴 방법은 2차 미분 정보를 활용해 빨간 경로를 알아냄

1차 미분 최적화 & 2차 미분 최적화

1차 미분의 최적화

• 경사도 사용해 선형 근사 사용
• 근사치 최소화

2차 미분의 최적화

• 경사도와 헤시안을 사용해 2차 근사 사용
• 근사치의 최소값