보통 엔트로피(Entropy)라 하면, 머릿속에 가장 먼저 떠오르는 것은 과학에서 다루는 열역학적 엔트로피이다. 열역학적 관점에서의 엔트로피는 "물체의 열적 상태를 나타내는 물리량의 하나"이다. 이러한 열역학적 정의는 차치하고, 통계학에서 정의하는 엔트로피에 대해 알

우도를 최대화하는 모수를 찾는 방법인 MLE는 통계학에서 매우 중요하게 다뤄지는 개념이다. AI/ML에서도 적용되는 개념이니 잘 알아두면 좋을 거 같다. Likelihood 우도(가능도, Likelihood)는 어떤 모델과 데이터가 주어졌을 때, 이 모델이 데이터를