Information Theory

확률이 높으면 그 사건이 발생했을 때 별로 놀라지않고. 확률이 낮으면 그 사건이 발생했을 때 놀라게 된다즉 확률과 놀람은 서로 반비례의 개념이다.놀람을 수학적으로 표현하자면, 확률이 p(x)이면 놀람은 1/p(x)정보이론에서 놀람의 공식은 log(1/p(x))그런데 정

KL Divergence Kullback-Leibler Divergence 두 확률 분포 간의 정보량의 차이를 측정하는 비대칭적인 척도 주어진 두 분포 P와 Q에서, P가 실제 분포이고 Q가 이를 근사하는 분포일 때 KL Divergence는 Q가 P를 얼마나 잘 설