Binary Cross Entropy 도함수 구하기

Yelim Kim·2023년 7월 12일

Machine_Learning

목록 보기

32/44

저번 글에서 배웠던

J=y\cdot -log(\hat{y})+(1-y)\cdot-log(1-\hat{y})

라는 Loss function이 있었다.
이제 이 함수를 살짝 고쳐보자. 마이너스가 많으니 앞으로 뺀다!

J=-[y\cdot log(\hat{y})+(1-y)\cdot log(1-\hat{y})]

이 함수를 $\hat{y}$ 로 미분하는 방법을 배워보자.

수식이 많더라도 중요한 내용이니 하나하나 짚어보면서 외우도록 노력하자!

\frac{\partial J}{\partial\hat{y}}=\frac{\partial}{\partial\hat{y}} [-[y\cdot log(\hat{y})+(1-y)\cdot log(1-\hat{y})]]

\frac{\partial J}{\partial\hat{y}}=-\frac{\partial}{\partial\hat{y}} [y\cdot log(\hat{y})+(1-y)\cdot log(1-\hat{y})]

\frac{\partial J}{\partial\hat{y}}=-[\frac{\partial}{\partial\hat{y}} [y\cdot log(\hat{y})]+\frac{\partial}{\partial\hat{y}}[(1-y)\cdot log(1-\hat{y})]]

\frac{\partial J}{\partial\hat{y}}=-[y\cdot \frac{\partial}{\partial\hat{y}} [ log(\hat{y})]+(1-y)\cdot\frac{\partial}{\partial\hat{y}}[log(1-\hat{y})]]

Chain Rule에 의해,

$log(x)$ 를 $x$ 에 대해 미분하면 $\frac{1}{x}$
$f(g(x))$ 를 $x$ 에 대해 미분하면 $f'(g(x))g'(x)$

\frac{\partial J}{\partial\hat{y}}=-[\frac{y}{\hat{y}}+(1-y)\cdot\frac{1}{1-\hat{y}}\cdot\frac{\partial}{\partial\hat{y}} [1-\hat{y}]

마지막 $\frac{\partial}{\partial\hat{y}} [1-\hat{y}]$ 는 그냥 뒤집어 주면 되니까, 분의 1 해서 계산하면

\frac{1-y}{1-\hat{y}}-\frac{y}{\hat{y}}

\frac{\hat{y}-y\hat{y}-y+y\hat{y}}{\hat{y}(1-\hat{y})}=\frac{\hat{y}-y}{\hat{y}(1-\hat{y})}

!!!! 끝났따.
정리해보자.

$\frac{\partial }{\partial \hat{y}}[BCE(\hat{y},y)]=\frac{\hat{y}-y}{\hat{y}(1-\hat{y})}$

이렇게 Binary Cross Entropy의 도함수를 구하는 방법을 알아봤다.

다음 글에서는 backpropagation에 대해서 자세히 배워보자.

뜬금없지만 세계여행이 꿈입니다.