Information Theory

보통 엔트로피(Entropy)라 하면, 머릿속에 가장 먼저 떠오르는 것은 과학에서 다루는 열역학적 엔트로피이다. 열역학적 관점에서의 엔트로피는 "물체의 열적 상태를 나타내는 물리량의 하나"이다. 이러한 열역학적 정의는 차치하고, 통계학에서 정의하는 엔트로피에 대해 알