모두를 위한 딥러닝 시즌 1 : Lecture 6 Softmax Classification

기본 개념

Multinomial classification 문제를 해결할 수 잇는 Classification 방법

• 기존 방법 : n개의 분류를 해주고 싶을 경우 n개의 기준선(Logistic Classification을 만들어줘서 문제를 해결해야 함.

• Softmax Classification : 벡터를 이용해서 n개의 Logistic Regression을 하나의 W 벡터로 확장해줘서 문제를 해결할 수 있게 됨. Softmax함수는 여기서 나오는 값을 확률값으로 바꿔줘서 여러가지를 분류할 수 있도록 해줌.

Cross Entropy

• Cost Function : Cross Entropy를 사용 -> Logistic Entropy함수와 같음

• Cross Entropy :
  

• Gradient Descent : Cost function이 Convex함수이므로 Greadient Descent방식으로 문제를 해결할 수 있음.