Chapter 04. Special Distribution

MonoHaru·2023년 5월 10일
Probability Statistics

Probability Statistics

목록 보기
5/5

4.2 Bernoulli Distribution (베리누이 분포)

RV

  • Discrete RV를 사용한다.
  • Binary data를 RV로 사용한다.
  • X=0, 1 or success, failureX= 0,\ 1\ or \ success, \ failure

PMF

P(success or 1)=pP(failure or 0)=(1−p)\begin{aligned} P(success\ or\ 1)&=p \\P(failure\ or\ 0)&=(1-p) \end{aligned}

Expectation and Variance

E[X]=pσX2=p(1−p)\begin{aligned} E[X]&=p \\ \sigma_X^2&=p(1-p) \end{aligned}

4.3 Binomial Distribution (이항 분포)

RV

  • Discrete RV를 사용한다.
  • Bernoulli distribution에서 nn번 시도한 것중에서 성공한 횟수를 RV로 사용한다.
  • x=0, 1, 2, ⋯ , nx=0 ,\ 1,\ 2,\ \cdots,\ n

PMF

PX(x)=(nk)px(1−p)n−x\begin{aligned} P_X(x)=\begin{pmatrix} n \\ k \end{pmatrix}p^x(1-p)^{n-x} \end{aligned}

Expectation and Variance

E[X]=npσX2=np(1−p)\begin{aligned} E[X]&=np \\ \sigma_X^2&=np(1-p) \end{aligned}

4.4 Geometric Distribution (기하 분포)

RV

  • Discrete RV를 사용한다.
  • 첫 번째 성공까지 Bernoulli trial을 실행한 횟수를 RV로 사용한다.
  • x=1, 2, 3, ⋯x=1,\ 2,\ 3,\ \cdots

PMF

PX(x)=(1−p)x−1p\begin{aligned} P_X(x)=(1-p)^{x-1}p \end{aligned}

Expectation and Variance

E[X]=1pσX2=1−pp2\begin{aligned} E[X]&=\dfrac{1}{p} \\ \sigma_X^2&=\dfrac{1-p}{p^2} \end{aligned}

Property

Forgetfulness (Memoryless)

  • 앞에서 시행한 것들이 이후 실행에 영향을 주지 않는다.
  • 앞에서 몇 번을 시행했던지, kk라는 값은 nn과 전혀 상관 없다.
  • nn번 실패했다는 가정 하에 kk번 추가로 실행할 때 성공할 확률.
P(X=n+k∣X>n)=P(X=n+k∩X>n)P(X>n)=P(X=n+k)P(X>n)=p(1−p)k−1=p(X=k)\begin{aligned} P(X=n+k|X>n)&=\dfrac{P(X=n+k\cap X>n)}{P(X>n)} \\&=\dfrac{P(X=n+k)}{P(X>n)} \\&=p(1-p)^{k-1} \\&=p(X=k) \end{aligned}

4.5 Pascal Distribution (파스칼 분포)

RV

  • Discrete RV를 사용한다.
  • kk번 성공할 때까지 Bernoulli trial 횟수를 RV로 사용한다.
  • n=k, k+1, k+2, ⋯n= k,\ k+1,\ k+2,\ \cdots

PMF

P(X=n)=(n−1k−1)pk−1(1−p)(n−1)−(k−1)p=(n−1k−1)pk(1−p)n−k\begin{aligned} P(X=n)&=\begin{pmatrix}n-1\\k-1\end{pmatrix}p^{k-1}(1-p)^{(n-1)-(k-1)}p \\&=\begin{pmatrix}n-1\\k-1\end{pmatrix}p^k(1-p)^{n-k} \end{aligned}

Expectation and Variance

E[X]=kpσX2=k(1−p)p2\begin{aligned} E[X]&=\dfrac{k}{p} \\\sigma_X^2&=\dfrac{k(1-p)}{p^2} \end{aligned}
  • Geometric dist가 kk개 있는 것과 같다.

4.7 Poisson Distribution (포아송 분포)

RV

  • Discrete RV를 사용한다.
  • 주어진 시간(time interval)동안 이벤트가 발생한 횟수를 RV로 사용한다.
  • x=0, 1, 2, ⋯x=0,\ 1,\ 2,\ \cdots

PMF

PX(x)=λxx!e−λ\begin{aligned} P_X(x)=\dfrac{\lambda^x}{x!}e^{-\lambda} \end{aligned}

Expectation and Variance

E[X]=λσX2=λ\begin{aligned} E[X]&=\lambda \\ \sigma_X^2&=\lambda \end{aligned}

4.8 Exponential Distribution (지수 분포)

RV

  • Continuous RV를 사용한다.
  • 시스템이 생존할 시간을 RV로 사용한다.
  • x≥0x\geq0

PDF and CDF

fX(x)=λe−λxFX(x)=1−e−λx\begin{aligned} f_X(x)&=\lambda e^{-\lambda x} \\ F_X(x)&= 1-e^{-\lambda x} \end{aligned}

Expectation and Variance

E[X]=1λσX2=1λ2\begin{aligned} E[X]&=\dfrac{1}{\lambda} \\ \sigma_X^2&=\dfrac{1}{\lambda^2} \end{aligned}

Property

Forgetfulness (Memoryless)

  • 앞에서 시행한 것들이 이후 실행에 영향을 주지 않는다.
  • tt시간 까지 시스템이 생존했을 때, t+st+s시간까지 생존할 확률에 영향을 주지 않는다.
  • t+st+s까지 생존할 확률을 구하는데, tt라는 시간은 전혀 상관 없다.
P(X≤t+s∣X>t)=P(X≤t+s ∩X>t)P(X>t)=P(t<X≤t+s)1−P(X≤t)=FX(t+s)−FX(t)1−FX(t)=1−e−λs=FX(s)\begin{aligned} P(X \leq t+s|X>t)&=\dfrac{P(X\leq t+s \ \cap X>t)}{P(X>t)} \\&=\dfrac{P(t<X\leq t+s)}{1-P(X\leq t)} \\&=\dfrac{F_X(t+s)-F_X(t)}{1-F_X(t)} \\&=1-e^{-\lambda s} \\&=F_X(s) \end{aligned}

Relation between Exponential dist and Poisson dist

  • Poisson dist에서 이벤트가 한 번 이상 발생할 확률은 Exponential dist에서 tt시간 안에 시스템 failure 이벤트가 발생하는 확률과 같다.
  • 따라서 Poisson dist를 갖는 이벤트들이 발생할 때, 발생한 events 간에 시간 간격(time interval)은 Exponential dist를 따른다.

4.9 Erlang-k Distribution (얼랑-k 분포)

RV

  • Continuous RV를 사용한다.
  • k+1번 이벤트가 발생하는 시간 주기(time interval)를 RV로 사용한다.
  • Exponential dist의 일반적인 형태다.
  • x≥0x\geq0

PDF and CDF

fXK(x)=λkxk−1(k−1)!e−λxFXk(x)=∫0xλktk−1(k−1)!e−λt dt=1−∑j=0k−1(λx)je−λxj!\begin{aligned} f_{X_K}(x)&=\dfrac{\lambda^kx^{k-1}}{(k-1)!}e^{-\lambda x} \\F_{X_k}(x)&=\int^{x}_{0}\dfrac{\lambda^kt^{k-1}}{(k-1)!}e^{-\lambda t}\ dt \\&= 1-\sum_{j=0}^{k-1}\dfrac{(\lambda x)^je^{-\lambda x}}{j!} \end{aligned}

Expectation and Variance

E[Xk]=kλσXk2=kλ2\begin{aligned} E[X_k]&=\dfrac{k}{\lambda} \\ \sigma_{X_k}^2&=\dfrac{k}{\lambda^2} \end{aligned}
  • Erlang dist의 expectation과 variance는 Exponential dist가 kk개 있는 것과 같다.

4.10 Uniform Distribution (균등 분포)

RV

  • Discrete RV와 Continuous RV 모두 사용한다.
  • Discrete RV의 경우 항상 같은 확률을 가진다.
  • Continuous RV의 경우 범위를 사용한다.
    • a≤x≤ba\leq x \leq b

PDF

fX(x)=1b−a\begin{aligned} f_X(x)=\dfrac{1}{b-a} \end{aligned}

Expectation and Variance

E[X]=a+b2σX2=(b−a)212\begin{aligned} E[X]&=\dfrac{a+b}{2} \\\sigma_X^2&=\dfrac{(b-a)^2}{12} \end{aligned}

4.11 Normal Distribution (Gaussian, 정규 분포)

RV

  • Continuous RV를 사용한다.
  • 일반적으로 Gaussian dist를 많이 사용한다.

PDF and CDF

fX(x)=12πσX2e−(x−μX)22σX2FX(x)=P(X≤x)=PZ(Z≤x−μXσX)\begin{aligned} f_X(x)&=\dfrac{1}{\sqrt{2\pi \sigma_X^{2}}}e^-{\dfrac{(x-\mu_X)^2}{2\sigma_X^2}} \\F_X(x)&=P(X\leq x) \\&=P_Z(Z\leq\dfrac{x-\mu_X}{\sigma_X}) \end{aligned}

Notataion

NX(μX,σX2)\mathcal N_X(\mu_X, \sigma_X^2)

Property

Standard Gaussian Distribution

  • μ=0, σX2=1\mu =0,\ \sigma_X^2=1인 Normal dist를 Standard Noramal(Gaussian) dist (표준 정규 분포)라고 한다.
profile
MonoHaru
AI공의 폭풍은 정말 최고야!
이전 포스트

Chapter 03. Moments of RVs

0개의 댓글