오늘은 크로스 엔트로피 손실함수에 대해 알아볼게요!

딥러닝에서 분류 문제는 주로 크로스 엔트로피 함수를 사용합니다.

크로스 엔트로피 계산

• 우선 classification 출력층을 통해 나온 예측값과 실제값을 크로스 엔트로피 함수에 적용하여 계산해줍니다.
• 기본적으로 실제 값은 one-hot encoding으로 적용

1. Multi class일 때 계산하는 방법 (categorical, softmax)

• 여기에서 y^ (y 햇) 은 예측값이며, y는 실제 값입니다.
• m은 class의 전체 개수입니다!

2. Binary class일 때 계산하는 방법(sigmoid)

• one-hot encoding이기 때문에, y(실제값) 값이 0이면 log(1-y^) 만 남게 되고,
  y(실제값) 값이 1이면 log(y^)만 남게 됩니다.