Bayes Theorem

Bayes Theorem의 목적

어떤 데이터 x가 y라는 카테고리에 속할 확률을 구한다.

Bayes Theorem 기본 원리

x가 y에 속할 확률을 조건부 확률 식으로 나타내면 P(y|x)
그리고 이는
p(y|x) = p(x|y)*P(y)/p(x)

Naive Bayes의 원리

x가 특성이 하나만 있을 땐 간단한 수식이 되지만, x의 특성이 많아질수록 p(y|x)를 구하기가 어려워진다. 따라서 x의 특성들이 모두 독립적이라 가정한 후, p(y|x)를 구하면,
p(y|x) = p(x1|y)*p(x2|y)*...*(xn|y)*p(y)/p(x)
처럼 x의 x특성들의 확률을 곱하기만 하면 간단하게 원하는 확률을 구할 수 있다.

Naive Bayes의 장점:

1. 어느정도 독립이라는 가정이 맞다면, 멀티 클래스의 분류에서 쉽고 빠르게 예측 가능
2. 학습 데이터도 적게 필요

Naive Bayes의 단점:

1. 학습 데이터에 없는 특성이 테스트 데이터에 들어온다면, 확률이 0이 되버리는 엉뚱한 결과 발생 -> smoothing technique(ex. Laplace추정)이 필요함
2. 독립이라는 가정이 성립하지 않는다면, 결과가 정확하지 않음