[ML]Logistic Regression(로지스틱 회귀), Softmax function, Cross entropy 정리

Logistic regression

• logit(log odds) 의 개념으로부터 나옴
• Linear regression의 hypothesis function에 sigmoid function을 적용한 것으로, 이진분류 문제에 이용됨
• 결과는 확률값으로 매핑됨
  

Softmax function

• multivariate linear regression(Logistic regression의 일반화된 버젼)
• 다중분류문제에 이용됨
  

Softmax function

Cross entropy

• 정답의 분포 p, 예측값의 분포 q로부터 두 분포의 차이를 비교하는 metric으로부터 출발된 개념
• Likelihood를 최대화하는 식에 음수 부호가 붙어 Loss function을 의미하게 됨
• 확률값으로 매핑된 예측값의 Loss를 합리적으로 측정하고, 최적화하는 데에 이용됨