미분

미분값으로 값을 update하는 법

• 함수값을 증가시키고 싶으면 미분값을 더하면 된다.
  : (극대값 찾고 싶을 때)
• gradient ascent 경사상승법
  
• 함수값을 감소시키고 싶으면 미분값을 빼면 된다.
  : (극소값을 찾고 싶을 때)
• gradient descent 경사하강법
  
• 극값에 도달하면 미분값이 0이되기 때문에 움직임을 멈춘다.

구현

• 정확히 0이 되는 것이 어려우므로, 임계값 이상이 되면 멈추도록 설정한다.
  

편미분

• 변수가 벡터면 편미분을 사용해서 미분
• gradient vector