Chapter 03. Moments of RVs

Mono Haru·2023년 5월 9일
Probability Statistics
0

Probability Statistics

목록 보기
4/5

3.1 Average (평균)

Arithmetic Average (산술 평균)

X‾=x1+x2+⋯+xNN=1N∑i=1Nxi\begin{aligned} \overline{X}&=\dfrac{x_1+x_2+\cdots +x_N}{N} \\&=\dfrac{1}{N}\sum_{i=1}^{N}x_i \end{aligned}
  • 모든 xx의 합을 총 갯수 NN으로 나눈다.

Different frequancies wiw_i

  • 서로 다른 빈도수를 가질 경우 총 빈도 횟수로 나눈다.
X‾=w1x1+w2x2+⋯+wNxNw1+w2+⋯+wN=∑1Nwixi∑1Nwi\begin{aligned} \overline{X}&=\dfrac{w_1x_1+w_2x_2+\cdots + w_Nx_N}{w_1+w_2+\cdots +w_N} \\&=\dfrac{\sum_{1}^{N}w_ix_i}{\sum_{1}^{N}w_i} \end{aligned}
  • ∑1Nwi\sum_{1}^{N}w_i : n(S)n(S) → Sample space의 총 갯수
  • wi : n(Ai)w_i \ : \ n(A_i) → Event의 갯수
n(A)n(S)→wi∑i=1Nwi=P(xi)\dfrac{n(A)}{n(S)}\rightarrow\dfrac{w_i}{\sum_{i=1}^{N}w_i} = P(x_i)

3.2 Expectation (Mean, 기댓값)

  • 확률 분포의 기댓값이다.

Expectation Notation

Notation:E[X]=μDiscrete RV:E[X]=∑ixiP(xi)Continuous RV:E[X]=∫−∞∞xfX(x) dx\begin{aligned} Notation&: E[X] = \mu \\ Discrete \ RV &:E[X]=\sum_ix_iP(x_i) \\Continuous\ RV&:E[X]=\int_{-\infty}^{\infty}xf_X(x)\ dx \end{aligned}

3.3 Taylor Series (테일러 급수)

  • 어떤 함수를 xx에 대한 다항식으로 표현할 수 있다.

Taylor Series Notation

f(x)=f′(0)0!x0+f′′(0)1!x1+f′′′(0)2!x2+⋯=∑k=0∞f(k)(0)k!xkf(x−a)=∑k=0∞f(k)(a)(x−a)kk!\begin{aligned} f(x)&=\dfrac{f'(0)}{0!}x^0+\dfrac{f''(0)}{1!}x^1+\dfrac{f'''(0)}{2!}x^2+\cdots \\&=\sum_{k=0}^{\infty}\dfrac{f^{(k)}(0)}{k!}x^k \\f(x-a)&= \sum_{k=0}^{\infty}\dfrac{f^{(k)}(a)(x-a)^k}{k!} \end{aligned}
  • 지수함수 exe^x를 다항식으로 표현할 수 있다.
ex=1+x+x22!+x33!=∑k=0∞xkk!\begin{aligned} e^x &=1+x+\dfrac{x^2}{2!}+\dfrac{x^3}{3!} \\&= \sum_{k=0}^{\infty}\dfrac{x^k}{k!} \end{aligned}

3.4 Moments of RV (RV의 중심)

nthn^{th} - order moment (nn차 expectation)

  • 확률 변수의 nn제곱의 expectation이다.
Discrete RV E[Xn]=∑(xi)nP(xi)Continuous RV E[Xn]=∫−∞∞xnfX(x) dx\begin{aligned} Discrete\ RV\ E[X^n]&=\sum (x_i)^nP(x_i) \\ Continuous\ RV\ E[X^n]&=\int_{-\infty}^{\infty}x^nf_X(x)\ dx \end{aligned}

Central Moment (중심 모멘트)

  • RV와 μ\mu(중심)의 차이의 nn차 제곱에 대한 expectation을 구한다.
Notation:E[(X−μ)n]Discrete RV:E[(X−μ)n]=∑i(xi−μ)nP(xi)Continuous RV:E[(X−μ)n]=∫−∞∞(xi−μ)nfX(x) dx\begin{aligned} Notation&: E[(X-\mu)^n] \\ Discrete \ RV &:E[(X-\mu)^n]=\sum_i(x_i-\mu)^nP(x_i) \\Continuous\ RV&:E[(X-\mu)^n]=\int_{-\infty}^{\infty}(x_i-\mu)^nf_X(x)\ dx \end{aligned}
  • n=1n = 1일 경우,
    • 모든 RV에서 평균을 뺀 것의 평균은 00이다.
  • n=2n=2일 경우,
    • Variance(분산) = σX2\sigma_X^2이다.

Linearity (선형성)

  • Homogeneity와 Superposition을 충족하면 선형성이 있다.

Homogeneity

  • 원점을 지나는 직선만 가능하다.
f(ax)=af(x)f(ax)=af(x)
  • aa : Scalar

Superposition

f(x1+x2)=f(x1)+f(x2)f(x_1+x_2)=f(x_1)+f(x_2)

E[aX+b]E[aX+b]

  • Expectation 연산은 선형 조건을 충족한다.
E[aX+b]=aE[X]+bE[aX+b]=aE[X]+b

3.5 Conditional Mean (조건부 평균)

  • 조건을 가진 expectation 계산이다.

Conditional mean Notation

Notation:E[X∣A]\begin{aligned} Notation&:E[X|A] \end{aligned}
Discrete RV:E[X∣A]=∑xi∈AxiP(xi∣A)=∑xi∈AxiP(xi∩A)P(A)=∑xi∈AxiP(xi)P(A)\begin{aligned} \\ Discrete\ RV:E[X|A]&=\sum_{x_i \in A}x_iP(x_i|A) \\&= \sum_{x_i \in A}x_i\dfrac{P(x_i \cap A)}{P(A)} \\ &=\sum_{x_i \in A}x_i\dfrac{P(x_i)}{P(A)} \end{aligned}
Continuous RV:E[X∣A]=∫x∈AxfX(X∣A) dxfX(x∣A)=ddxFX(x∣A)=ddxP(X≤x∣A)=ddxP(X≤x∣A)P(A)\begin{aligned} Continuous\ RV:E[X|A]&=\int_{x \in A}xf_X(X|A)\ dx \\f_X(x|A)&=\dfrac{d}{dx}F_X(x|A) \\&= \dfrac{d}{dx}P(X\leq x|A) \\&=\dfrac{d}{dx}\dfrac{P(X\leq x|A)}{P(A)} \end{aligned}

3.6 Chebyshev Inequality (체비셰프 부등식)

  • 기댓값과 관측값의 차이에 대한 최소 발생 확률을 구한다.

Chebyshev inequality Notation

P(∣X−E[X]∣≥a)≤σX2a2\begin{aligned} P(|X-E[X]|\geq a) \leq\dfrac{\sigma_X^2}{a^2} \end{aligned}
  • XX : RV, real random observation
  • E[X]E[X] : Expectation, prediction, estimation
  • ∣X−E[X]∣|X-E[X]|가 낮을수록 높은 성능을 가진다.
profile
Mono Haru
Muzic is my life!
이전 포스트

Chapter 02. Random Variables (확률 변수)

다음 포스트

Chapter 04. Special Distribution

0개의 댓글