켤레 경사도

직선 탐색

• 이동 크기를 결정하기 위해 직선으로 탐색하고, 미분
  

• 기존 경사 하강법은 g2로 직선 탐색할 때 직전에 사용한 g1 정보를 전혀 고려하지 않음

• 결레 경사도는 직전 정보를 사용해 해에 빨리 접근

정리

유사 뉴턴 방법의 기본 개념

문제점

• 경사 하강법: 수렴 효율성 낮음
• 뉴턴 방법: 헤시안 행렬 연산 부담 -> 헤시언 H의 역행렬을 근사하는 행렬 M을 사용

그렇다면?

• 대표적으로 점진적으로 헤시안을 근사화하는 LFGS가 많이 사용됨
• 기계 학습에서는 M을 저장하는 메모리를 적게 쓰는 L-BFGS를 주로 사용함

기계학습에서 2차 미분 정보의 활용

• 현재 실사용수준에 도달하지 않았지만 연구는 계속되고 있음