경사하강법

미분

미분(differentiation)은 변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구로 최적화에서 가장 많이 사용하는 기법이다.

python의 sympy를 이용하면 수식을 실제 계산하는 것처럼 사용할 수 있다.

미분은 함수 f의 주어진 점 (x, f(x)) 에서의 접선의 기울기를 구하는 것이다.

미분값이 양수라면 증가, 음수이면 감소 상태 이다.

경사하강법

경사하강법은 미분을 사용해서 함수의 극소값을 찾는 과정이다.

선형회귀의 계수 구하기

실제값(t)과 예측값(y)의 오차(Loss)를 줄이는 방향으로 W와 b를 업데이트 한다.