Chapter 01. Conditional Probability and Bayes' Theorem
1.1 Sample space
- Sample space → S(set)
- 전체 집합을 의미한다.
- 어떤 일을 수행할 때 가능한 모든 outcome이 속한다.
1.2 Event(A)
- Event(A) : A⊂S
- A는 S(Sample space)의 부분집합이다.
- 또한 Sample space에서 특별한 케이스를 모든 집합이다.
- p(A)=prob(outcome∈A)
- outcome이 A에 속할 확률을 의미한다.
1.3 Conditional Probability(조건부 확률)
p(B∣A)==p(A)p(B∩A)p(A∣S)p(B∩A∣S)
- 전제를 가정하고 특정한 일이 발생할 경우의 확률을 의미한다.
1.4 Total Probability(전체 확률)
p(S)=p(A1)+p(A2)+⋯+p(An){A1,A2,...,An} : partition of S
p(A1)∴ p(A)=p(A1∩A)=p(A∣A1) p(A1)=i=1∑n p(A∣Ai) p(Ai)
1.5 Bayesian Theorem(베이지안 룰)
- p(B∣A)를 p(A∣B)로 구하는 방법
- posterior prob(사후확률)과 likelihood(우도)를 사용한다.
p(B∣A)p(A∣B)p(A∩B)∴ p(B∣A)=p(A)p(B∩A)=p(B)p(A∩B)=p(A∣B) p(B)=p(B∣A) p(A)=p(B∩A)=p(A)p(A∣B) p(B)
- A라는 결과가 나왔을 때, 그 원인이 B인지 아닌지 확인하기 위해서 사용한다.
1.8 Independent Events(독립 확률)
p(B∣A)p(A∣B)p(A∩B)=p(B)=p(A)=p(A) p(B)
- 일 때, A와 B를 독립적이라고 한다.
- 주로 repeated and restored trials(반복적이고 복원하는 실험)에서 사용한다.
- 조건부 문제를 단순화 시켜준다.
- A와 B가 독립적이면
- A↔B, B↔A, A↔B 모두 독립적이다.
1.9 Combined Experiments
Cartesian Product
S=S1 ∗ S2={(xi, yj) ∣ xi∈S1, yj∈S2}
1.10 Combinatorial Analysis
1.10.1 Permutation(순열)
- 서로 다른 n개를 1열로 나열하는 방법이다.
- 순서가 있다.
Factorial(팩토리얼)
- n!=n(n−1)(n−2)⋯1
Permutation
nPr=n(n−1)(n−2)⋯(n−r+1)=(n−r)!n!
Group Permutation
let n=n1+n2+⋯+nk⇒n1!n2!⋯nk!N!
1.10.4 Combination
- n개 중에서 무작위로 r개를 고르는 방법
nCr=r!nPr=(nr)=(n−r)!r!n!
1.10.4 Binomial Theorem (이항정리)
(a+b)n=A0anb0+A1an−1b1+⋯+Ana0bn=k=0∑n(nr)akbn−k=k=0∑n(nr)an−kbk
- n!이 너무 커질 경우 overflow가 발생하기 때문에 이를 방지하는 공식
n!≈2πn(ne)n
- n의 값이 커질수록, n!와 유사해진다.
1.11 Reliability
- 믿음의 정도, 신뢰도를 표현한다.
- R(t)로 표기한다.
- 주로 시스템의 기능이 작동하는 시간에 대한 확률로 사용한다.
Series connection
- 직류 연결은 하나가 고장나면 아무런 작동도 하지 못한다.
R(t)=R1(t)R2(t)R3(t)⋯=i=1∏nRi(t)
Parallel connection
- 병렬 연결은 적어도 하나만 동작하면 사용가능하다.
R(t)=1−(1−R1(t))(1−R2(t))(1−R3(t))⋯=1−i=1∏n(1−Ri(t))