KL-divergence

kullback-Leibler divergence(발산) (KLD)

• 두 확률분포의 차이를 계산하는 데에 사용하는 함수
• 어떤 이상적인 분포에 대해, 그 분포를 근사하는 다른 분포를 사용해 샘플링을 한다면 발생할 수 있는 정보 엔트로피 차이를 계산
• 상대 엔트로피(relative entropy), 정보 획득량(information gain), 인포메이션 다이버전스(information divergence)라고도 한다.

참고 링크
https://hyunw.kim/blog/2017/10/27/KL_divergence.html