# Probability

wlwl4731

1. Sets Sets and Subsets Empty Set (공집합) Union (합집합) Intersection (교집합) Complement (여집합) Disjoint Sets (서로소 집합) : Sets that do not have any overlap Partition : Imagine a set $A$, and then imagine subsets $A1, A2, \cdots, A_n$. If these subsets are disjoint (so they do not overlap) and cover all possible outcomes in A, they partition the set $A$ 2. Naive Probability Concept 1.1 Basic Definitions Sample Space : A sample space is the set

amj0215

Uniform RV 균등분포 모든 확률이 같음 $$ mean =E(X)= \frac{n+1} {2} $$ $$ Variance=\frac{n^2-1} {12} $$ Bernoulli RV 베르누이 확률분포 시행 결과가 두 개인 경우 ex) 성공 or 실패 Pmf of X $$ P\{X=0\}=1-p $$ $$ P\{X=1\}=p $$ Mean $$ E(X)= p $$ Variance $$ (1-p) $$ Binomial RV 이산 확률 분포 베르누이 시행이 여러번 있는 것 (독립) 사건이 시행될 횟수를 X , 확률분포로 보고 사용 X = the number of success that occur in the n trials > $$ X\sim B(n,p) $$ Probability mass function $$ P\left\{ X=i \right\}= {n \choose i}p^i(1-p)^{n-i} $$ E

dnr6054

본 글은 K-MOOC의 인공지능 수학 고급(Advanced Mathematics for AI) 강의를 듣고 요약한 글입니다. Random Experiment Random Experiment는 에측할 수 없는 결과들의 집합니다. 주사위 굴리기 주사위 세번 굴리기 동전 던지기 이러한 Random Experiment의 결과를 Outcome이라고 부른다. 이러한 Outcome들의 집합을 Event라고 부른다. 또한 모든 가능한 Outcome들의 집합을 Sample Space 라고 부른다. 주사위 굴리기의 경우 Sample Space $$S$$는 다음과 같을 것이다. $$ S=\{1,2,3,4,5,6\} $$ Probability $$P(A)$$는 이벤트 $$A$$가 일어날 확률이다. 이때 확률에 대한 공리(Axiom)가

rnjsdb72

01. Basic Probability Chance Events 무작위성(Randomness)은 우리 주변에 있다. 확률론(Probability)은 우연한 사건을 논리적으로 분석할 수 있게 한다. 확률은 특정 사건이 발생할 것 같음을 숫자로 나타낸다. 이 숫자는 0과 1 사이이다. 0은 불확실함, 1은 확실함을 나타낸다. 동전 던지기가 가장 유명한 확률의 예시이다. 동전의 위, 아래가 나올 확률은 각각 $\frac{1}{2}$ 하지만 실제로 실험해보면 위 확률이 나오지 않는다. 하지만 수행 횟수가 높아질 수록 위 확률에 가까워진다. 하지만 만약 동전의 무게가 불균형적이라면, 동전의 위, 아래가 나올 확률이 달라진다. 이럴 경우, 실제 확률이 조정될 수 있도록 가중치나 분포를 조정해야 한다. 확률 변수(random variable)로 설정 Expectati

nonlunch

&nbsp 저번 글에서는 principle 5에 대해서 다루어보았습니다. 이번 글에서는, random 객체 중 하나인 random variable에 대해 다루어볼까 합니다. Random variable이란? &nbsp 확률 공간 $(\mathbb{R}, \mathcal{P}(\mathbb{R}), P)$으로 정의할 수 있는 random한 객체를 우리는 random variable이라고 합니다. 즉, 어떤 random한 객체의 outcome이 항상 실수의 형태라면, 그 객체는 random variable이라고 할 수 있습니다. &nbsp 이 random variable은, 다른 random 객체와는 다르게 cumulative probability distribution function(CDF)이 unique하게 존재합니다. Uniqueness에 대한 증명은 다음에 기회가 되면 다루도록 하겠습니다. 즉 CDF는 특정한 set $A \in \mathcal{P}(\ma

nonlunch

&nbsp 저번 글에서는 'membership information'이 주어졌을 때, 즉 event의 characteristic에 대한 추가적인 정보가 주어졌을 때 probability space에 나타나는 변화에 대해 살펴보았습니다. 이번 글에서는 주어진 probabilty space와, 이로부터 파생된 probability space는 과연 어떤 연관성을 가지는지에 대해 알아보겠습니다. 서로 연결된 probability space. &nbsp 어떤 사람 A가 버튼을 누른다고 해 봅시다. 이 event의 sample space는 $\{"Press", "Not \; Press"\}$ 두 가지 원소로 이루어진 집합일 것입니다. 그런데 관찰자 B는 사람 A가 버튼을 눌렀을 때 송신기에서 보내지는 전파의 전압을 관찰할 수 있습니다. 버튼을 눌렀을 때는 $1V$의 전압이 관찰되고, 누르지 않았을 때는 $0V$의 전압이 관찰된다고 하고, noise가 없는 이상적인 상황을 가

nonlunch

&nbsp 이 글은 22-2학기 김운경 교수님의 Random Process 강의와 Peyton의 "Probability, Random Variables and Random Signal Principles" 4판을 참고하였음을 밝혀드립니다. &nbsp 저번 글에서는 probability space의 정의와 함께, 세 가지 principle에 대해 다루어 보았습니다. 이번 글에서는, user가 확률 공간에다가 추가적인 정보와 함께 질문을 던질 경우, probability는 이에 대한 답변을 위해 어떤 principle이 필요한지에 대해 이야기해보겠습니다. Why Probability Space? &nbsp 저번 시간 우리는 user가 궁금해하는 질문에 답변을 효율적으로 하기 위해 probability space를 정의했다고 했습니다. 주어진 event에 대해, user는 outcome이 무엇인지 알지 못하며, 이 outcome을 모두 모은 집합을 sample

nonlunch

작은 암실에 빨간색, 파랑색 주사위 중 하나를 던진다고 하자. 빨간 주사위를 던질 확률은 $p$, 파랑 주사위를 던질 확률은 $q$이다. 일단 $p=q=0.5$ 로 두자. 암실은 어둡기 때문에 색 구분은 불가능하지만 주사위에 적힌 숫자는 알아볼 수 있다. Probability Space를 구성해보면, Sample Space는 다음과 같이 정의된다. $$ S=\{ \textcolor{red}{1, 2, 3, 4, 5, 6},\textcolor{blue}{1, 2, 3, 4, 5, 6} \} $$ 주사위를 던지는 사람 입장에서의 Sample Space S는 다음과 같을 것이다. $$ S_{\theta}= \{ \{ \textcolor{red}{1, 2, 3, 4, 5, 6} \} , \{ \textcolor{blue}{1, 2, 3, 4, 5, 6} \} \} = \{ \textcolor{red}{Red}, \

kylie12

Introduction To Probability (textbook) https://www.probabilitycourse.com/ Advanced Engineering Mathematics (textbook) https://quizlet.com/explanations/textbook-solutions/advanced-engineering-mathematics-10th-edition-9780470458365 MIT open course https://ocw.mit.edu/courses/res-6-012-introduction-to-probability-spring-2018/pages/part-i-the-fundamentals/ Uniform Distribution https://www.coursehero.com/study-guides/odessa-introstats1-1/the-uniform-distribution/ Meterials https://stu

ddangchani

Entropy and its related loss Entropy 엔트로피는 확률론에 기반한 정보이론에서 매우 중요하게 쓰이는 개념이다. 확률변수random variable $\xi$ 가(random element 참고) density $f\geq 0$ 을 가진다고 하자 (✅ density function은 Radon-Nikodym 참조). 이때 $\xi$의 엔트로피는 다음과 같이 정의된다. $$ H(\xi)=\mathbb E(-\log f(\xi)) =\int_\mathbb R \log f(x)\cdot f(x)dx $$ 기댓값expectation $\mathbb E$ 는 확률변수 $\xi\in L^1(P)$ 에 대해 $$ \mathbb E[\xi]

syh0397

확률과 통계 확률 : 오랜시간동안 쌓아온 경험적인 확률인식을 바탕으로 이론화 한것 1. 수학적 확률 : 어떤 사람이 계산하던지간에 동일한 값으로 계산되는 확률 2. 통계적 확률 : 동일조건&독립적으로 무한반복했을 때 발생하는 확률 3. 주관적 확률 : 관찰자의 주관에 따라 다르게 표현되는 확률 통계 : 자료를 수집한 뒤, 분석,해석 및 표현을 다루는 수학의 분야 중 하나 확률론의 활용영역: 유전학, 물리학, 계랑경제학, 금융, 역사학, 정치 인문학, 사회과학계에서도 중요도와 활용이 늘어나고 있음 도박과 게임 - 통계에서 여러 번 연구된 주제이다(페르마, 파스칼) 인생 전반: (수학이 활실성에 대한 학문이라면,) 확률은 불확실성(uncertainty)을 계량화하는 것을 가능하게 해 준다. 표본공간 (Sample space) 시행에서 발생 가능한 모든 경우의 집합 ( )

qkrdbwls191

Texture Synthesis by Non-parametric Sampling A. A. Efros and T. K. Leung, "Texture Synthesis by Non-parametric Sampling" 논문을 요약, 정리해보는 시간을 갖겠습니다. Abstract Texture synthesis는 초기의 기준점(seed)을 이용해 한번에 한 픽셀씩 합성(생성)시켜 새로운 이미지를 만들어내는 것을 의미합니다. 논문에서는 마르코프 랜덤 필드(MRF)를 이용하고, synthesize할 픽셀의 주변 값들과 유사한 이미지 패치를 샘플 이미지에서 모두 찾아 픽셀의 조건부 분포(conditional distribution)를 추정합니다. 무작위 정도(만들어지는 이미지의 무작위 정도; 규칙적인 texture로 이루어져 있는가 아닌가)는 인간의 인지능력에 직관적인 파라미터 하나만을 이용해 조절합니다. 논문에서는 Non-parametric method를 제

qkrdbwls191

마르코프 체인(Markov Chain)에 관해 알아보는 시간을 갖겠습니다. 마르코프 체인이란? 정의 마르코프 체인을 설명해주는 여러 매체들에서는 주로 '날씨'를 이용해서 마르코프 체인을 설명합니다. 예를 들어 오늘의 날씨가 비가 내리는 날씨이고, 내일 날씨가 비가 내릴지 내리지 않을지 확률로 나타낼 수 있습니다. 이를 좀 어렵게 말하면 마르코프 체인은 '마르코프 성질'을 가진 '이산시간 확률과정' 입니다. 각각을 풀어서 설명하면 마르코프 성질 - 과거와 현재 상태가 주어졌을 때의 미래 상태의 조건부 확률 분포가 과거 상태와는 독립적으로 현재 상태에 의해서만 결정됨 이산시간 확률과정 - 이산적인 시간의 변화에 따라 확률이 변화하는 과정 이라고 설명될 수 있습니다. ![](https://images.velog.io/images/qkrdbwls191/post/d0c19773-9c3d-4458-8203-173569551601/image.pn

ddangchani

확률측도 정의 공간 $\Omega$와 $\Omega$의 부분집합들로 구성된 Borel Field $\mathscr{F}$ 에서 정의된 확률측도probability measure $P$ 는 다음 공리를 만족시킨다. > 1. $\forall E\in \mathscr{F}: P(E)\geq 0$ > 2. (가산가법성) $\mathscr{F}$의 서로소인 가산모임 $\{E_k:k\in \mathbb{N}\}$ 에 대해 > $$ P\biggl(\bigcupk Ek\biggr)=\sumk P(Ek)$$ > 3. $P(\Omega)=1$ 위와 같이 정의된 확률측도는, $\mathscr{F}$의 원소들에 대해 다음 성질들을 만족시킨다. > 4. $P(E)\leq 1$ > 5. $P(\emptyset)=0$ > 6. $P(E^c)=1-P(E)$ > 7. $P(E\cup F)+P(E\cap F)=P(E)+P(F)$ > 8

qsdcfd

표와 그래프 질적 자료 도수분포표 먼저 질적 자료의 경우에 가장 많이 사용하는 것이 도수분포표 입니다. 예를 들어서 A, B, C 세 사람에 대해서 2800명이 투표를 한 결과 A가 1520표 B가 770표 C가 510표다. 이때 후보자 A, B, C를 이렇게 한쪽 column에 쓰고 이에 대한 도수를 옆에 쓴 다음 총합을 맨 밑에 쓰는 것을 도수분포표라고 부릅니다. 도수라는 것 frequency라고 하기에 이 frequency table을 질적인 자료인 경우에 도수분포표로 사용하고 있습니다. 파이 차트 *예제 : 30페이지로 이루어진 보고서에서 각 페이지당 오자의 개수 양적 자료 data() 명령어를 입력하

qsdcfd

자료의 정리 먼저 우리가 자료라고 하는 것 흔히 DATA라고 하는데 DATA는 DATUM이라는 단어의 복수형 입니다. 그래서 통계학이란 여러 가지로 해석을 할 수 있지만 자료라는 재료를 이용해서 여러 가지 요리를 만들어내는 것에 비유를 할 수가 있습니다. 자료의 정리는 자료의 종류에 따라서 달라지기 때문에 자료의 종류부터 살펴보겠습니다. 양적인 자료 먼저 양적인 자료는 quantitative data 또는 numerical data라고 하고 자료 자체가 숫자와 1대 1로 대응이 됩니다. 1대1로 대응이 되는데 일정 구간에 있는 모든 실수 값과 대응이 되느냐 아니면 특정한 정수 값만 대응이 되느냐에 따라서 연속형 자료와 이산형 자료로 구분되어집니다. *연속형 자료(continous data) 일정 구간에 있는 실수 값 (a,b)로 이루어진 특정한 실수 값 특정한 구간에 있는 실수 값을 모두 취할 수 있는 자료 ex:) 혈압, 몸무

2712qwer

확률론 맛보기 이번 강에서는 확률론에 대하여 학습을 진행했다. 딥러닝은 확률론 기반의 기계학습 이론에 바탕을 두고 있기 때문에, 딥러닝을 공부하기 위해서 확률론에 대한 기초를 다지는 것은 필수이다. 이번 강의를 통해서 확률론에 대한 기초를 완벽히 다지기 위해 노력했다. 00. 공부 내용 딥러닝에서의 확률론의 활용에 대하여 공부 확률분포에 대하여 공부 머신러닝에서의 조건부확률의 활용에 대하여 공부 몬테카를로 샘플링에 대하여 공부 01. 딥러닝에서의 확률론 예측이 틀릴 위험을 최소화 하도록 데이터를 학습하는 것이 기계학습의 기본 원리이다. 머신러닝은 Loss Function을 이용하여 위험을 최소화 하는 방향으로, 데이터를 바탕으로, 학습을 진행한다. 회귀에서는 L2-norm을 손실함수로 사용하며, 본 손실함수는 예측오차의 분산을 가장 최소화하는 방향으로 학습이 진행된다. 분류에서는 Cross-Entropy을 손실함수로 사용하며, 본 손실함

khhiq1000

.png) Abstract The idea : discriminate between observed data and generated noise : using regression model Estimatior : consistent of estimators , asymptotic variance : works for unnormalized model -> necessary to learn normalize constant Experiment setup : ICA model – s= Wx -> s,x가 주어지고 W를 찾는 것 : comparing with unnormalized model ex) score matching, contrastive divergence and maximu

stella_y

Binary Model 의 결과를 사건의 발생 확률이라고 해석해도 될까? 위 질문에 대한 정답은 그렇게 해석해도 될 때도 있고, 아닐때도 있다 라는것이다. 1. Probability Recalibration Classification 문제에서 data 가 imbalanced 되어있을 경우, 빠른 학습을 위해 negative downsampling 을 하게 된다. 그런데, negative downsampling을 하면 prediction 값 또한 negative downsample 된 space 맞게 calibration 되는것이 당연하다. → 즉 real space 에 맞게 recalibration 을 해주는 과정이 필요하다! e.g. sample 이전의 ctr 이 0.1%였다면, negative downsampling 을 0.01만큼 해줬다면 pctr은 약 10% 가 되었을 것. 이때의 recalibration 아래의 식을 통해서 한다 (q는 recalibrated

leeyongjoo

통계학, 기본개념 통계학에서 필수적인 개념들을 중심으로 살펴보도록 한다. 개념 정의 통계학(statistics) 데이터의 수집, 구성, 분석, 해석, 표현에 관한 학문 기술통계학(descriptive statistics) 추측통계학(inferential statistics) 👉데이터를 수집하여 표현하고, 분석하여 미래를 예측하는 학문이다. 모집단(population) : 어떤 질문이나 실험을 위해 관심의 대상이 되는 개체나 사건의 집합 예) 전교 남학생의 키 모수(parameter) : 모집단의 수치적인 특성 예) 키의 평균 표본(sample) : 모집단에서 선택된 일부 개체나 사건의 집합 도수(Frequency) > 어떤 사건이 실험이나 관찰로부터 발생한 횟수 # 빈도 표현방법 도수분포표(Frequency Distribution Table)