Linear Regression
- 주어진 데이터들을 바탕으로 추론해서 가장 fit한 line을 추정
- Finding a linear equation that represents the correlation of the data.
Cost Function
-
추론한 직선이 데이터에 얼마나 적합한지 수치화한다.
MSE(Mean Squread Error
-
제곱하는 이유? 상쇄되어 0이 나올 수도 있음
-
cost를 통해서 W와 b가 데이터를 얼마나 잘 설명하고 있는지 측정할 수 있다.
Cost Function Minimization
-
Cost를 최소화해야 한다.
W에 대한 Cost
- 처음에 랜덤하게 W를 찍는다.
- 그 점에서 기울기를 구한다.
기울기 > 0?음수 방향:양수 방향- 2~3번을 반복한다.
Gradient Descent
- A first-order iterative optimization algorithm
- 수식 중요
- cost(W)를 미분 (기울기 구하기)
- 마이너스(-)를 붙여 반대 방향으로 이동
- 알파는 Learning Rate
:=W를 업데이트
Gradient Descent의 한계
- Gradient Descent가 항상 global minima를 구하는 것은 아니다.
- Local minima에 빠질 수도 있다.
Learning Rate
- 알파가 너무 작으면 조금씩 업데이트 되어 goal에 천천히 도달한다.
--> Loss 변화 없음 - 알파가 너무 크면 반대 방향으로 넘어간다.
--> Loss 폭발 - 보통 10^(-3)부터 시작하여 조정해 나간다.
📌 Note
- Gradient Descent 식 알아두기
Übermensch