# bayesian

leechaeyoung

통계학은 크게 빈도주의자(freqentist)와 베이즈주의자(Bayesian)으로 나뉜다.둘은 확률을 해석 하는 방법이 다르다. "동전을 던졌을 때 앞면이 나올 확률이 50%이다." 빈도주의자: '동전 하나 던지기를 수천번 하면 그 중 앞면이 50%, 뒷면이 50%나온다'(확률=객관적) 베이즈주의자: '동전 하나 던지기의 결과가 앞면이 나올 확신이 50%이다.'(확률=주관적) 베이즈 정리 사전확률(Class Prior Probablity): 사전지식 가능도(Likelihood): 가설(A)가 데이터(B)를 지지할 가능성 = 사후확률(Posterior Probablity): 데이터로 업데이트된 확률 증거(Predictor Prior Pr

jpseo99

시작하며 벌써 7월 3주차입니다. 최근에 convex optimization에 관련된 책을 학교 도서관에서 빌려 읽었습니다. >convex programming에서 Local optimum은 Global optimum이다! 아무튼, 요즘은 아래의 것들을 진행하고 있습니다. 특히, FIM_SNU의 과제를 진행하려면 statistics에 관련된 내용을 익혀야합니다. 그래서 고생을 좀 하고 있습니다. 관련해서 자료조사를 하며 알게된 내용을 간단하게 review 하고자 합니다. 서울대 포스코 수영장 아침 강습 (08:00 ~ 09:00), 놀이터 턱걸이 AIIS CIC (AI 연구원 산학협력센터) 인턴 2023 Fastmri challenge 조교 빅데이터 기반 금융투자모형 연구(FIM_S

jhjh9701

오늘은 posterior distribution 에 대해서 조금 더 집중해서 글을 쓰려고 합니다. prior probability 와 posterior probability 의 사전적 정의는 다음과 같습니다. > - prior distribution : assumed probability distribution before some evidence is taken into account posterior distribution : conditional probability that results from updating the prior probability with information summarized by the likelihood via an application of Bayes' rule. 간단한 예시를 이전 포스팅에서 제시했었습니다. 조금 더, Machine learning 을 공부하시는 분들의 흥미를 끌만한 새로운 예시와 함께 다음 단계를 통해

jhjh9701

원래 git 에 자료들을 많이 올렸는데, 여기에 조금 더 가독성이 좋게 정리를 해보려고 합니다. 예전에 읽고 싶엇떤 논문이 dirichlet process mixture model 이라는 단어를 중심으로 전개되었습니다. dirichlet process mixture model, 간단하게 이해할 수 있을 줄 알고 구글링을 몇 번 해봤지만 막막하기만 하더라구요. 그런데 또, 아예 이해 못할정도로 다른 세계는 아닌 것 같았습니다. 그래서 파고들어봤더니 bayesian 에 대한 이해부터 새롭게 할 수 있는 좋은 기회가 되더군요. 1. So What is the Bayesian? bayesian equation $$ p(\theta|y) = \frac{p(y|\theta)p(\theta)}{p(y)} $$ 로 기초적인 확률론만 공부한다면 자명합니다만, 식에 담긴 의미가 아주 깊고, 어렵습니다. 대부분의 교과서에 기술된 $x$, $y$ 가 아닌 $y$, $\theta$ 를 사용한

namtaek

Velog 시작! Velog에 처음 글을 쓰네요. 이전에 깃헙블로그를 통해 글을 쓰려했지만, 깃헙블로그는 블로그스러운 느낌이 덜해서 잘 손이 안가더라고요. 더불어 깃헙블로그는 뭔가 영어로 써야할 것 같은 느낌이 있는데, Velog면 당당하게(?) 한글로 쓸 수 있을 것 같았습니다. 제가 블로그에 적고 공유하고 싶은 내용들은 한글일 때 더 가치있을 내용들이라서요. 저는 통계학과 학부를 나와서 통계학과 석사과정을 진행중에 있습니다. 구체적으로는 "베이지안 인과추론 (Bayesian causal inference)"의 세부 주제를 연구 대상으로 삼고 있습니다. "베이지안 비모수"와 "인과추론" 모두 한글로 된 양질의 자료를 찾기 어려운 것은 물론이고, 세부적으로 들어가면 그 어떤 한글 자료도 없습니다.. 그래서 초반에 관련 논문들을 읽을 때, 더 많은 논문들을 읽어가며 공부했던 기억들이 있습니다. 누군가 베이지안 비모수와 인과추론, 그중에서도 BART (Bayesian Add

hahajjjun

텍스트### 1. Markov chain monte carlo(MCMC) Construct a markov chain whose stationary distribution = $\pi$ to draw samples from target distribution $\pi$. Running a markov chain leads to sampling from target distribution Ergoic markov chain has unique stationary distribution Bayesian inference can be done on markov chain samples, even when the posterior distribution is intractable. Definition of markov chain: $P(X^{(t+1)}|X^{(0)}, ..., X^{(t)})=P(X^{(t+1)}|X^{(t)})$ Transition proba

hahajjjun

1. Structure of generic bayesian inference procedure Design a proper prior $p(\theta)$: prior design is important for scientific applications, and various types of prior is used in different cases Non-informative prior, Spike-and-slab prior, ... Likelihood term $L(X|\theta)$, i.e. data generating mechanism takes account into contribution of dataset(observations) Posterior $\pi(\theta|X) \propto L(X|\theta)p(\theta)$ can be obtained in a closed form for some prior designs(conjuga

flow88

베이즈 추론이란 추론 대상의 사전 확률 p(Θ)과 추가적인 정보 X를 통해 해당 대상의 사후 확률 p(Θ|X)을 추론하는 방법 베이즈 정리를 사용해 구한다 >$$p(Θ|X) = {p(X|Θ) * p(Θ) \over p(X)}$$ 감마함수 정의

ddangchani

Bayesian Data Analysis(2) - Noninformative prior distribution 이전 게시글에서는 single parameter model에서 이루어지는 bayesian inference의 대략적인 과정과, 그 과정에서 관찰되는 conjugate prior-posterior distribution에 대해 살펴보았다. 이번에는 prior distribution이 모집단에 대해 아무런 근거를 갖지 않는, non-informative한 사전분포를 다루어보도록 하자. Noninformative $$ P(\theta|y) \propto p(y|\theta)p(\theta) $$ 의 관계로부터, 사후확률의 분포는 샘플 분포와 사전분포에 의존한다. 사전분포는 이전에 다룬 것 처럼 conjugate한 form으로 정의할 수도 있겠으나, 결국 분포의 형태를 사용자가 임의로 결정할 수 있기 때문에 극단적으로 다음과 같은 경우 $$ p(\theta) \pro

qntjrrud11

0. Abstract 이 게시물은 2009년에 오클랜드 대학의 Wayne Stewart에 의해 작성되었고 이후 Brendon J. Brewer에 의해 수정된 베이지안 강의 내용이다. Introduction to Bayesian Statistics 1. Introduction 1.1 Certainty, Uncertainty and Probability 1.1.1 고전 확률(Classical probability) 사건의 발생횟수를 전체 시행횟수로 나눈 값의 극한을 확률 이라고 한다. 동일한 시행을 무한히 반복했을 때의 빈도의 값이다. 예를 들어 주사위를 던져 3인 나올 확률은 주사위를 무한히 던졌을 때의 값이다. 따라서 $\frac{2}{10}=0.2$ -> $\frac{1673}{10000}=0.1673$ -> $\frac{1}{6}=0.1666$ 다음

ddangchani

Frequentist, 즉 빈도주의적 관점에서는 확률은 반복되는 시행과정에서 해당 사건의 발생 빈도를 의미한다. 즉, 어떤 분류 모델의 성능이 95%라면, 이는 임의의 예제 100개 중 95개의 비율로 정확성을 갖는다는 것을 의미한다. 반면, 베이지안 관점에서는 해당 분류 모델이 정확하다고 '95%' 확신할 수 있다고 해석하게 된다. 즉, 보편적인 확률의 정의는 빈도주의적 관점에 해당하지만 베이지안 관점은 어떤 지식의 타당성을 파악하는데 중점을 둔다. 베이지안 통계학은 이러한 관점에서 추론 모델을 만들고 평가하는 학문인데, 사실 이러한 관점은 현대 머신러닝의 근간이라고도 할 수 있다(앞서 언급한 분류 모델의 성능이 두번째 설명으로 더 와닿을 것이다). 이에 베이지안 통계는 충분히 공부해볼만한 가치가 있다고 생각하고, 앞으로 대표적인 베이지안 교재인 Gelman의 Bayesian Data Analysis(BDA)와 베이지안 기반의 머신러닝 교재인 Murph

briley_p

Bayesian Statistics 를 공부한 내용을 정리하여 올립니다. 아래는 공부한 교재 목록입니다. (추후 업데이트!) Hoff, A First Course in Bayesian Statistical Methods (2009) Doing Bayesian Data Analysis

kdifirst

1. Confidence interval(신뢰구간) 1.1 ANOVA(ANalysis Of VAriance, 분산분석) t-test, chi-square test를 통해 우리는 1개 그룹, 2개 그룹의 값을 살펴 보았다. 그러면 3개 이상의 그룹을 확인할 수는 없을까? 2개 이상의 그룹을 확인하기위해 그룹1 vs 그룹2, 그룹2 vs 그룹3, 그룹1 vs 그룹3을 각각 하면 되지 않을까? 생각할 수 있다. 이론적으로는 가능하지만 문제가 있다. 3벌의 가설 검정에서 각각 매번 통계적으로 에러가 발생할 확률은 α이다. α = 0.05라면. 3개의 가설 검정 중 적어도 하나에서 에러가 날 확률은 1-(1-α)^3이고 이는 약 15%에 달한다. 또 m개 그룹에 대한 가설 검정이라면 라는 것이 증명되어 있다. 즉

bommme13

http://www.kocw.net/home/search/kemView.do?kemId=1319487#Redirect 김태형 교수님 강의 정리 -필요한 부분만 들었다. 통계기초 공분산:

bs02010

1. Confidence interval(신뢰구간) 1.1 ANOVA(ANalysis Of VAriance, 분산분석) t-test, chi-square test를 통해 우리는 1개 그룹, 2개 그룹의 값을 살펴 보았다. 그러면 3개 이상의 그룹을 확인할 수는 없을까? 2개 이상의 그룹을 확인하기위해 그룹1 vs 그룹2, 그룹2 vs 그룹3, 그룹1 vs 그룹3을 각각 하면 되지 않을까? 생각할 수 있다. 이론적으로는 가능하지만 문제가 있다. 3벌의 가설 검정에서 각각 매번 통계적으로 에러가 발생할 확률은 α이다. α = 0.05라면. 3개의 가설 검정 중 적어도 하나에서 에러가 날 확률은 1-(1-α)^3이고 이는 약 15%에 달한다. 또 m개 그룹에 대한 가설 검정이라면 라는 것

colacan100

베이지안의 사고 주어진 상황에서 추가 데이터가 주어졌을 때 상황을 업데이트 총 확률의 법칙 1) 모든 가능한 이벤트의 총 확률은 1이다. 2) 연관이 있는 경우 : B가 일어난 상황에서 A가 일어날 확률 P(A|B) 3) 연관이 없는 경우 : B가 일어난 상황에서 A가 일어날 확률 P(A)*P(B) 조건부 확률 1) B가 주어진 상황에서의 A의 확률 = A가 주어진 상황에서의 B의 확률 * A의 확률 / B의 확률 2) A의 확률 : 사전확률 3) B가 주어진 상황에서의 A의 확률 : 사후확률 4) A가 주어진 상황에서의 B의 확률 : likelihood(가능도) 위를 통해 사전확률을 업데이트 가능 베이지안 테스트를 반복하여 사용 업데이트를 할 때마다 점점 정교해짐 몬티홀 with 베이지안 처음에 1번문을 선택 H : 1번 문뒤에 자동차가 있음 E : 진행자가 염소 있는 문을 1개 열어줌 우리가 구해야할 것 1) P(E|H) :

jbro321

Bayesian Statistics 1. 베이지안 통계 개론 (Bayesian Inference) 1.1 총 확률의 법칙 (The Law of Total Probability) * A 라는 특정 확률 변수에 대해, 모든 가능한 이벤트의 총 확률은 1* $$P(A) = \sumn P(An) = 1$$ 1.2 조건부 확률 (The Law of Conditional Probability) 다른 이벤트가 일어난 상황에서의 조건 $$P(A|B) = {{P(A \cap B)} \over {P(B)}} = \frac{P(B|A)P(A)}{P(B)}$$ $$p(A) = p(A | B) \cdot p(B)+ p(A | not B) \cdot p(not B)$$

sjinu

3. 베이지안+ 딥러닝 + 강화학습 = AlphaGo 3.1 몬테카를로 몬테카를로(Monte-Carlo)는 도시국가인 모나코 북부에 있는 지역으로 카지노, 도박으로 유명한 곳이다. 수학의 확률이론 자체가 도박에서 비롯되었기에 도박 도시의 대명사였던 몬테카를로 역시 확률론과 밀접한 관계가 있는 방법론을 지칭하기도 한다. 즉, 몬테카를로 방법이란 무작위 추출된 난수를 이용해 함수의 값을 계산하는 통계학적 방법으로, 수치적분이나 최적화 등에 널리 쓰인다. 적분 문제 중 면적 계산을 예로 들어보자. 위 그림에서 검은 실선에 의해 구분되는 파란색 영역의 넓이를 구하고자 할 때, 함수로 표현하기 힘들거나 이론적인 적분 값을 구하기 힘든 경우 몬테카를로 기법을 사용할 수 있다. 이 때,

sjinu

0. Introduction 베이지안 통계(Bayesian Statistics)는 확률이 사건에 대해 특정한 정도의 ‘신뢰’를 제공하는 확률의 베이지안적 해석(Bayesian interpretation)을 기반으로 하는 통계 분야이다. 베이지안적 해석은 고전적인 통계와 관련된 빈도론자(Frequentist)의 해석과는 다른데, 빈도론적 해석은 수많은 시행 끝에 발생하는 상대적인 ‘빈도’를 토대로 확률을 해석하는 반면 베이지안적 해석은 현재 발생한 시행과 사전분포를 이용해 사후분포를 추정하는 등 관점의 차이가 존재한다. 이렇듯 ‘확률’에 대한 베이지안적 해석을 토대로 하는 베이지안 통계는 마르코프 체인 몬테 카를로, 근사적 베이지안 연산, 베이지안 회귀 등의 기법과 베이지안 딥러닝, 베이지안 메타러닝 등의 분야에 널리 쓰이고 있다. 특히, 전 세계에 인공지능의 부흥을 불러 일으킨 구글 딥 마인드의 바둑 인공지능 ‘AlphaGo’ 또한 딥러닝 모델과 함께 베이지안

tobigs_xai

0. Introduction 베이지안 통계(Bayesian Statistics)는 확률이 사건에 대해 특정한 정도의 ‘신뢰’를 제공하는 확률의 베이지안적 해석(Bayesian interpretation)을 기반으로 하는 통계 분야이다. 베이지안적 해석은 고전적인 통계와 관련된 빈도론자(Frequentist)의 해석과는 다른데, 빈도론적 해석은 수많은 시행 끝에 발생하는 상대적인 ‘빈도’를 토대로 확률을 해석하는 반면 베이지안적 해석은 현재 발생한 시행과 사전분포를 이용해 사후분포를 추정하는 등 관점의 차이가 존재한다. 이렇듯 ‘확률’에 대한 베이지안적 해석을 토대로 하는 베이지안 통계는 마르코프 체인 몬테 카를로, 근사적 베이지안 연산, 베이지안 회귀 등의 기법과 베이지안 딥러닝, 베이지안 메타러닝 등의 분야에 널리 쓰이고 있다. 특히, 전 세계에 인공지능의 부흥을 불러 일으킨 구글 딥 마인드의 바둑 인공지능 ‘AlphaGo’ 또한 딥러닝 모델과 함께 베이지안