총 확률의 법칙 (The Law of Total Probability)

• 정의에 따르면, $A$라는 특정 확률 변수에 대해, 모든 가능한 이벤트의 총 확률은 1
  $P(A) = \sum_n P(A_n) = 1$

• $B$가 일어난 상황에서의 $A$에 대한 확률 $P(A)$는, $P(A|B)$의 형태로 표현

• A의 모든 확률은 주어진 B에 대해서 각각의 일어날 확률의 총합으로 표현
  $P(A) = \sum_n P(A | B_n) P(B_n)$

조건부 확률 (The Law of Conditional Probability)

베이즈 정리란 사전 정보(데이터)를 통해 사후확률(특징이 주어졌을때 판단)을 예측하는 과정에서 사용되는 공식

베이지안의 핵심공식과 유도과정

$P(A|B) = {{P(A \cap B)} \over {P(B)}}$
$P(B|A) = {{P(B \cap A)} \over {P(A)}}$
Since
$P(A \cap B) = P(B \cap A),$
Therefore
$P(A|B) \cdot P(B) = P(B|A) \cdot P(A)$
$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$

• $p(A)$ -> 사전 확률. B라는 정보가 업데이트 되기 전의 사전확률
• $p(B|A)$ -> data
• $p(A|B)$ -> 사후 확률. (B라는 정보가 업데이트 된 이후의 사(이벤트)후 확률)

몬티홀 with 베이지안

가정 : 처음에 1번 문을 선택함
$H$ : Hypothesis : 1번 문 뒤에 자동차가 있음
$E$ : Evidence : 진행자가 염소가 있는 문을 1개 열어줌

베이지안
$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$
우리의 목적 : 진행자가 문을 보여준 상태 : $P(E)$ 에서 선택했던 문에 자동차가 있을 확률 $P(H)$ -> $P(H|E)$
$P(H|E) = \frac{P(E|H)P(H)}{P(E)} = \frac{P(E|H)P(H)}{P(E|H)P(H)+P(E|not H)P( not H)}$

우리가 구해야 하는 것

• $P(E|H)$
  • $P(E|H)$ = 1번 문에 자동차가 있는 상황에서 진행자가 염소가 있는 문을 1개 열어줄 확률 = 1
• $P(H)$
  • $P(H)$ = 자동차가 1번문에 있을 확률 : $\frac{1}{3}$
• $P(E|not H)$
  • 마찬가지로 $P(E|not H)$ = 1
• $P(not H)$
  • $P(not H)$ = $\frac{2}{3}$

계산
$P(H|E) = \frac{1 \cdot \frac{1}{3}}{1 \cdot \frac{1}{3} + 1 \cdot \frac{2}{3}} = \frac{\frac{1}{3}}{1} = \frac{1}{3}$
염소가 있는 다른 문이라는 추가 정보($E$)가 있는 상황에서 처음에 선택했던 1번 문에 자동차가 있을 확률($H$)은 $\frac{1}{3}$ 으로 계산