Chapter 01. Conditional Probability and Bayes' Theorem

Mono Haru·2023년 4월 17일
0

Probability Statistics

목록 보기
2/5

1.1 Sample space


  • Sample space → SS(set)
    • 전체 집합을 의미한다.
    • 어떤 일을 수행할 때 가능한 모든 outcomeoutcome이 속한다.

1.2 Event(A)


  • Event(AA) : ASA\subset S
    • AASS(Sample space)의 부분집합이다.
    • 또한 Sample space에서 특별한 케이스를 모든 집합이다.
  • p(A)=prob(outcomeA)p(A)=prob(outcome \in A)
    • outcomeoutcomeAA에 속할 확률을 의미한다.

1.3 Conditional Probability(조건부 확률)


p(BA)=p(BA)p(A)=p(BAS)p(AS)\begin{aligned}p(B|A)= & \dfrac{p\left( B\cap A\right) }{p\left( A\right)} \\ = & \dfrac{p(B \cap A|S)}{p(A|S)} \end{aligned}
  • 전제를 가정하고 특정한 일이 발생할 경우의 확률을 의미한다.

1.4 Total Probability(전체 확률)


  • 각 독립적인 배반 사건의 합
p(S)=p(A1)+p(A2)++p(An){A1,A2,...,An} : partition of S\begin{aligned} & p(S)=p(A_1)+p(A_2)+ \cdots +p(A_n) \\ & \{A_1, A_2,...,A_n\} \space : \space partition \ of \ S \end{aligned}
p(A1)=p(A1A)=p(AA1) p(A1) p(A)=i=1n p(AAi) p(Ai)\begin{aligned} p(A_1) & = p(A_1 \cap A) \\ & = p(A|A_1)\ p(A_1) \\ \therefore \ p(A) & = \sum_{i=1}^{n} \ p(A|A_i) \ p(A_i) \end{aligned}

1.5 Bayesian Theorem(베이지안 룰)


  • p(BA)p(B|A)p(AB)p(A|B)로 구하는 방법
    • posterior prob(사후확률)과 likelihood(우도)를 사용한다.
      p(BA)=p(BA)p(A)p(AB)=p(AB)p(B)p(AB)=p(AB) p(B)=p(BA) p(A)=p(BA) p(BA)=p(AB) p(B)p(A)\begin{aligned} p(B|A) & = \dfrac{p(B\cap A)}{p(A)} \\ p(A|B) & = \dfrac{p(A\cap B)}{p(B)} \\ p(A \cap B) & = p(A|B)\ p(B) \\ & = p(B|A)\ p(A) \\ & = p(B \cap A) \\ \therefore \ p(B|A) & =\dfrac{p(A|B)\ p(B)}{p(A)} \end{aligned}
  • AA라는 결과가 나왔을 때, 그 원인이 BB인지 아닌지 확인하기 위해서 사용한다.

1.8 Independent Events(독립 확률)


p(BA)=p(B)p(AB)=p(A)p(AB)=p(A) p(B)\begin{aligned} p(B|A)&=p(B) \\p(A|B)&=p(A) \\p(A \cap B) & = p(A)\ p(B) \end{aligned}
  • 일 때, AABB를 독립적이라고 한다.
  • 주로 repeated and restored trials(반복적이고 복원하는 실험)에서 사용한다.
  • 조건부 문제를 단순화 시켜준다.
  • AABB가 독립적이면
    • AB, BA, ABA \leftrightarrow\overline{B},\ B \leftrightarrow\overline{A},\ \overline{A} \leftrightarrow\overline{B} 모두 독립적이다.

1.9 Combined Experiments


  • 한 번에 여러 실험을 수행한다.

Cartesian Product


  • 집합의 원소에 순서쌍을 부여한다.
S=S1  S2={(xi, yj)  xiS1, yjS2}\begin{aligned} S &=S_1\ *\ S_2 \\ &= \{(x_i,\ y_j)\ |\ x_i \in S_1,\ y_j\in S_2\} \end{aligned}

1.10 Combinatorial Analysis


  • 나열, 순열 등 배치하는 것

1.10.1 Permutation(순열)


  • 서로 다른 nn개를 1열로 나열하는 방법이다.
  • 순서가 있다.

Factorial(팩토리얼)


  • n!=n(n1)(n2)1n!=n(n-1)(n-2) \cdots1

Permutation


  • nn개 중에서 rr개만 뽑는 방법
nPr=n(n1)(n2)(nr+1)=n!(nr)!\begin{aligned}nPr & = n(n-1)(n-2)\cdots (n-r+1) \\ &= \dfrac{n!}{(n-r)!} \end{aligned}

Group Permutation


  • 똑같은 것들로 만들어진 그룹을 나열하는 방법
let n=n1+n2++nkN!n1!n2!nk!\begin{aligned} let \ n&=n_1+n_2+\cdots +n_k \\ &\Rightarrow \dfrac{N!}{n_1!n_2!\cdots n_k!} \end{aligned}

1.10.4 Combination


  • nn개 중에서 무작위로 rr개를 고르는 방법
nCr=nPrr!=(nr)=n!(nr)!r!\begin{aligned} nCr &=\dfrac{nPr}{r!} \\&=\begin{pmatrix} n \\ r \end{pmatrix} \\&=\dfrac{n!}{(n-r)!r!} \end{aligned}

1.10.4 Binomial Theorem (이항정리)


  • 거듭제곱의 계수들을 간략하게 정리한 것
(a+b)n=A0anb0+A1an1b1++Ana0bn=k=0n(nr)akbnk=k=0n(nr)ankbk\begin{aligned} (a+b)^n &= A_0a^nb^0+A_1a^{n-1}b^1+\cdots +A_na^0b^n \\&=\sum_{k=0}^{n}\begin{pmatrix} n \\ r \end{pmatrix}a^kb^{n-k} \\&=\sum_{k=0}^{n}\begin{pmatrix} n \\ r \end{pmatrix}a^{n-k}b^{k} \end{aligned}

1.10.6 Stirling’s formula


  • n!n!이 너무 커질 경우 overflow가 발생하기 때문에 이를 방지하는 공식
n!2πn(ne)nn! \approx \sqrt{2\pi n}\begin{pmatrix} n \\ e \end{pmatrix}^n
  • nn의 값이 커질수록, n!n!와 유사해진다.

1.11 Reliability


  • 믿음의 정도, 신뢰도를 표현한다.
  • R(t)R(t)로 표기한다.
  • 주로 시스템의 기능이 작동하는 시간에 대한 확률로 사용한다.

Series connection


  • 직류 연결은 하나가 고장나면 아무런 작동도 하지 못한다.
R(t)=R1(t)R2(t)R3(t)=i=1nRi(t)\begin{aligned} R(t)&=R_1(t)R_2(t)R_3(t)\cdots \\&=\prod_{i=1}^{n}R_i(t) \end{aligned}

Parallel connection


  • 병렬 연결은 적어도 하나만 동작하면 사용가능하다.
R(t)=1(1R1(t))(1R2(t))(1R3(t))=1i=1n(1Ri(t))\begin{aligned} R(t) &= 1-(1-R_1(t))(1-R_2(t))(1-R_3(t))\cdots \\&=1-\prod_{i=1}^{n}(1-R_i(t)) \end{aligned}
profile
Muzic is my life!

0개의 댓글