Cost Function

Cost Function

• 선형 회귀: $h_\theta(x) = \theta_0 + \theta_1x$
• Cost function(error) 최소화 → 최적의 직선
  $J(\theta_0, \theta_1) = \frac{1}{2m}\sum^m_{i=1}(h_\theta(x^{(i)} - y^{(i)})^2$
• 제곱하는 이유? 부호를 없애기 위해서 또는 절댓값으로 대체
• 차원이 많아질수록 최솟값을 구하기 어렵다 → Gradient Descent
• Gradient Descent : 랜덤하게 임의의 점 선택 > 임의의 점에서 미분(or 편미분)값을 계산해서 업데이트
  $\theta:=\theta - \alpha\frac{d}{dt}J_\theta(x)$
• Learning Rate : 학습률(alpha)은 얼마만큼 theta를 갱신할 것인지 설정하는 값
  • 학습률이 작다면 여러번 갱신해야 하나, 최솟값에 잘 도달할 수는 있음
  • 학습률이 크다면 갱신횟수는 상대적으로 작으나, 수렴하지 않고 진동할 수 있음

다변수 데이터에 대한 회귀

Reference
1) 제로베이스 데이터스쿨 강의자료
2) https://box-world.tistory.com/6