Numerical Optimization (Nocedal)

Nocedal의 Numerical Optimization을 읽으며 주로 번역이지만 일부 내 이해를 덧붙였다. 글이 좀 긴 편이라 복습할 때 정독하기 부담스러워 정리한 것인데 이 곳에도 올려본다. 개요 매 iteration 마다 direction과 step size 결

Line search는 search direction을 먼저 정하고, 그에 맞는 step length를 구한다. Trust-region은 모델이 objective function을 잘 나타내는 영역을 정의한다음, 그 영역에서의 minimzer를 선택한다. directi

Large linear systems을 풀기에 가장 효율적인 방법이다 (이 목적으로 개발된 것이기도 하다). 그리고 이를 nonlinear optimization problem을 풀기위해 활용할 수 있다.Linear system을 풀기 위해 사용될 때는 (Gaussia

Quasi-Newton method는 steepest descent 처럼 objective function의 gradient만을 필요로 하는데, 이 gradient의 변화를 이용한 objective function의 모델링으로 superlinear convergence

크기가 너무 큰 문제는 계산, 메모리 효율적으로 풀어야한다. 현실적인 implementation을 위한 변형들에 대해 알아보자.Symmetric $n\\times n$ linear system을 풀기 위한 Newton step $p^N_k$를 생각해보자.$$\\nabl