[핸즈온 머신러닝] ML 4장

모델 훈련

이 장에서는 가장 간단한 모델 중 하나인 '선형 회귀'를 살펴보게 된다. 이 모델을 훈련시키는 두 가지 방법을 설명하겠다.

• 계산 공식을 통해 훈련 세트에 맞는 모델 파라미터를 해석적으로 구한다.
• 최적화 방식인 '경사 하강법'을 통해 모델 파라미터를 조금씩 바꾸면서 Loss function을 훈련 세트에 대해 최소화시킨다.

그 다음, 비선형 데이터셋에 훈련시킬 수 있는 '다항 회귀'에 대해서도 살펴보고, 분류 작업에 사용하는 '로지스틱 회귀'와 'Softmax 회귀'도 살펴보겠다.

Linear Regression

선형 회귀 모델은 다음과 같은 식으로 나타낼 수 있다.
그림

이어서 선형 회귀 모델을 훈련시켜보자. 모델을 훈련시킨다는 것은 훈련세트에 맞도록 모델 파라미터를 설정하는 것이다. 이를 위해선 먼저 모델이 훈련 데이터에 얼마나 잘 들어맞는지 측정해야하는데, 이때 측정 지표로 RMSE(평균 제곱근 오차)가 있다. 회귀에 가장 널리 사용되는 성능 측정 지표인데, 이 RMSE를 최소화하는 ɵ를 찾아야 한다.
(실제로는 RMSE보다는 MSE(평균 제곱 오차)를 더 자주 활용한다.)

훈련 세트 X에 대한 선형 회귀 가설 MSE는 다음 식처럼 계산한다.
그림

🔶ɵ 값을 찾기 위한 정규방정식 (해석적인 방법)