[나도코딩] 경사 하강법 (Gradient Descent)

• 잔차 제곱의 합
• 최소제곱법 : 잔차 제곱의 합을 최소로 찾는 방법
  • 이상값에 취약한 단점이 존재
  • 시험 점수에 영향을 미치는 것은 공부 시간 이외의 많은 요인들이 존재한다.
    • 이런 상황에서, 최소제곱법을 사용한다면 많은 독립 변수가 존재할 때, 독립 변수가 전체 데이터 수에 비례하여 굉장히 높은 비용(컴퓨터 자원) 발생
  • 위와 같은 문제점을 보완할 수 있는 방법이, 경사하강법이다.

이상값 이란?

그림에서와 같이, 직선에서 벗어난 것이 이상값.
이상값의 잔차를 구하면 매우 큰 범주의 값