[ML] 머신러닝 - Linear Regression 심화

1. Multivariate Regression - 다변량 회귀

두 개 이상의 변수로 만든 회귀식

2. Polynomial Regression - 다항식 회귀

예측하는 값이 비선형일 경우 사용

• 새로운 변수 x2가 생성되는 게 아니라
  기존에 가지고 있는 x를 제곱한다.

3. 회귀 계수를 계산하는 방법

최고 제곱법

• 여러 값을 넣어 본 뒤 loss ( MSE )가 제일 작은 베타를 찾는다

• 효율적으로 값을 넣는 법 - 최적화 알고리즘

Bisection Method - 최적화 알고리즘

• 임의의 두 값을 설정

• 두 값의 y값을 비교

• y값이 큰 점을 두 점의 가운데 점으로 바꾼다

• 임의의 두 값의 차이가 작아질 때 까지 반복

  

Gradient Descent - 최적화 알고리즘

• 임의의 값 하나를 설정

• 임의의 값에서의 기울기를 계산

• 기울기와 learning rate를 곱한 갓을 임의의 값에서 뺀다.
  - learning rate를 곱하지 않으면 발산한다.

• 기울기가 0에 가까워질 때까지 반복