Generative Models
What I cannot create I do not understand – Feynman
What does it mean to learn a generative model?
강아지 이미지가 주어졌을 때
강아지와 같은 이미지를 생성해내는것 generation
강아지인지 아닌지를 detection 하는것 density estimation(anomaly detection)
Like discrimination
이것을 우리는 explicit models(입력이 주어졌을 때 이것의 확률을 구할 수 있는 모델) 이라고 한다.
<-> implicit model
엄밀히 말하면 gm은 discriminative model을 포함한다.
강아지는 사람과 다르게 꼬리가 있고 다리가 4개이고~~ feature learning
6개의 주사위를 굴리는데 몇개의 파라미터가 필요할까?
->5개! 왜냐면 sum to 1이 있으니까. 6개중 5개가 정해지면 나머지 하나는 자동으로 정해진다.
Rgb 이미지 하나를 표현하는데 필요한 파라미터는 몇개일까?
RGB 서로가 independent
너무 크다….
-> 기계학습에서 파라미터의 개수가 너무 많으면 학습이 어렵다.
따라서 줄여야 할 필요성이 있다.
원래는 인접한 픽셀끼리는 비슷한 색을 갖기 때문에 independent할 수는 없지만
편의를 위해 서로가 모두 independent하다고 하자.
가능한 state는 2^n 으로 동일 하지만, 모두가 independent하기 때문에 sum to 1
따라서 파라미터의 개수는 n개 이다.
하지만 가정 자체가 너무 말도 안된다.(표현할 수 있는 이미지에 한계가 너무 극명)
Conditional independence
Z가 주어졌을 때 x와 y가 independent 하면 p(x|y,z) = p(x|z)이다.
Z가 주어졌을 때 x와 y가 independent 하니까 x를 표현하는데 y는 영향을 하나도 못 준다.
Chainrule 혹은 임의의 conditional distribution의 뒷단에 붙는 conditional 부분을 날려주는 효과가 있다.
체인룰에서 몇개의 파라미터가 필요할까?
X1은 0 또는 1을 가질 수 있고 하나의 파라미터가 필요하다.
P(x2|x1) = P(x2|x1=0) + P(x2|x1=1) 따라서 두개의 파라미터가 필요하다.
P(x3|x1,x2) = 4개의 파라미터
.....
Markov assumption(1차 마코프 가정)
i+1 번째 픽셀은 I 번째 픽셀에만 영향을 끼친다.
Chain rule -> 1st Markov assumption
Auto-regressive Model(이전 몇개를 고려하든 모두 A-r model에 속한다.)
NADE
I번째 픽셀은 i-1개의 입력에 dependent하다. NN 입장에서는 w의 개수가 가변 하며 증가한다.
NADE는 확률을 예측할 수 있는 explicit 모델이다.
Pixel RNN
R을 먼저 만들고 R기반으로 G 를 만들고 RG 기반으로 B 를 만든다.
