[ML] Objective Function (목적함수) / Loss Function (손실함수) / Cost Function (비용함수)

Objective Function (목적함수) & Loss Function (손실함수) & Cost Function (비용함수)

• 기계가 스스로 모델의 성능 향상 정도를 판단하기 위해서 사용되는 함수

• 학습을 통해 최적화(optimization)시키려는 함수

• 일반적으로 값이 작아질수록 성능이 향상되었다고 봄

• 세 용어의 약간의 차이 존재

• Cost Function은 최적화(optimization)문제에 쓰임

• Loss Function은 parameter 측정에 더 많이 쓰임 + Objective Function의 한 종류
  
  
  
  

Loss Function의 종류

1. L1 loss
   $\sum |y-\hat{y}|$
2. L2 loss
   $\sum (y-\hat{y})^2$
3. Entropy (Decision Tree에서 주로 사용)

• 확률 변수의 불확실성 정도를 측정하기 위해 사용
  $Entropy(p) = -\sum P(x)logP(x) = -E(logP(x))$

4. Cross Entropy

• 두 분포 P(x), Q(x)를 대상으로 엔트로피를 측정하여 두 분포 간 차이를 계산
  $CrossEntropy(P,Q) = -\sum P(x)logQ(x) = -E_p(logQ(x))$

Cost Function의 종류

1. MSE (Mean Squared Error, 평균 제곱 오차)
   $\frac1 N \cdot \sum_{i=1}^{N}(y_i-\hat y_i)^2$
2. RMSE (Root Mean Squared Error, 평균 제곱근 오차)
   $RMSE = \sqrt{MSE}$
3. MAE (Mean Absolute Error, 평균 절대 오차)
   $\frac 1 N \cdot \sum_{i=1}^{N}|y_i-\hat y_i|$

Reference

https://velog.io/@eunice123/%EB%AA%A9%EC%A0%81%ED%95%A8%EC%88%98-%EC%86%90%EC%8B%A4%ED%95%A8%EC%88%98-%EB%B9%84%EC%9A%A9%ED%95%A8%EC%88%98-%EC%B0%A8%EC%9D%B4
https://velog.io/@regista/%EB%B9%84%EC%9A%A9%ED%95%A8%EC%88%98Cost-Function-%EC%86%90%EC%8B%A4%ED%95%A8%EC%88%98Loss-function-%EB%AA%A9%EC%A0%81%ED%95%A8%EC%88%98Objective-Function-Ai-tech
https://byunghyun23.tistory.com/84?category=917430