[나도코딩] 회귀 모델 평가

Evaluation

• MAE (Mean Absolute Error) : 실제 값과 예측 값 차이의 절대값들의 평균
  
  • 실제 값과 예측 값 사이의 차이 = 12.8
  • 절대값을 통해서, 양수와 음수 간의 상쇄되는 문제를 해결 할 수 있다.
• MSE (Mean Squared Error) : 실제 값과 예측 값 차이의 제곱한 값들의 평균
  
  • 제곱을 통해서, 양수와 음수 간의 상쇄되는 문제를 해결 할 수 있다.
  • 1 미만의 값은 제곱을 통해서 더 작아지고, 1 이상의 값은 제곱을 통해서 더 커진다. => 이상값에 대하여 민감한 특징을 가지고 있다.
  • 제곱을 통해서 실제 데이터와의 단위가 달라진다 => 추가적인 해석 필요
    • ex) 실제값과 예측값의 차이가 100이 나는데, MSE 가 176 이라면 이상해보일 수 있으니 해석이 필요하다.
• RMSE (Root Mean Squared Error) : MSE에 루트를 적용
  
  • MSE를 통해서 왜곡될 수 있는 이상값를 방지할 수 있다.
  • 실제 데이터와의 단위가 통일이 되어서 해석이 쉬워진다.

MAE & MSE & RMSE

• 상황에 따라서 중요한 지표가 달라질 수 있다.
• 0에 가까울수록 모델 성능이 더 좋다. (당연히 실제 값과 예측 값의 차이가 작을수록 좋은 것,)

R Square (결정계수, 데이터의 분산을 기반으로 한 평가 지표)

• total = reg + error
• SST : Sum of Squares for total
• SSR : Sum of Squares for regression
• SSE : Sum of Squares for error
• total = reg + error 라는 식이 SST = SSR + SSE 로 가는 과정에서 Stotal = Sreg + Serror 라고 표현되는 부분이 있는데 이는 아직 완성된 식이 아니며 등호가 성립되지 않는다는 점 참고
  

결론

• 분자의 예측값이 평균값과 비슷할 때, R Square의 식의 값은 0에 가까워진다. (1 - 1 = 0)
• 분자의 예측값이 y의 실제값과 거의 동일할 때, 분자의 예측값은 0에 가까워진다. 따라서 R Square의 식의 값은 1에 가까워진다. (1 - 0 = 1)
  
• SSE : 880
• SST : 3770
• 평균값 : 59