# KL-Divergence
총 10개의 포스트

엔트로피와 크로스엔트로피 KL-Divergence
엔트로피는 불확실성의 정도이다. 즉, 확률과 연관된 개념으로써엔트로피가 높다는 것은 미래의 사건이 뭐가 나올지 불확실한정도가 크다는 것이고 낮다는 것은 미래의 사건이 뭐가 나올지 비교적 확실하다는 것이다.엔트로피는 확률분포와 연관해서 기억하면 좋을 것이다.위의 두 확률
2023년 8월 31일
·
0개의 댓글·
0
[ML] entropy, cross entropy, kl-divergence
정보를 표현하는 데 필요한 최소 평균 자원량 흔하게 일어나는 일일수록 정보량이 적고, 적게 일어나는 일일수록 정보량이 많다는 아이디어로 출발하여 아래 그림과 같이 정보량 표현
2022년 10월 14일
·
0개의 댓글·
0Fisher Information
Fisher information은 MLE를 통해 추정한 파라미터의 신뢰구간을 구할 때 등장합니다. 머신러닝과 관련해서는 KL-divergence를 Fisher Information Matrix(FIM)으로 근사할 수 있습니다.
2022년 7월 26일
·
0개의 댓글·
1[간단정리]Comparing Kullback-Leibler Divergence and Mean Squared Error Loss in Knowledge Distillation(IJCAI 2021)
Some notes on relation between KL-Divergence and MSE for Knowledge Distillation
2022년 5월 10일
·
0개의 댓글·
0
KL-Divergence Explained
entropy, cross-entropy를 공부하다가 KL-Divergence에 대해 좋은 글이 있어서 번역해보았다.출처: https://www.countbayesie.com/blog/2017/5/9/kullback-leibler-divergence-expla
2021년 3월 31일
·
0개의 댓글·
0