machine learning lecutre5

back propagation :

신경망에서, 출력함수를 적절히 선택하면 각 노드의 가중치에 대한 출력값의 미분을 해석적으로 구할 수 있는데, 보통 그 입력, 출력에 모두 의존하게 된다. 따라서 오류함수의 기울기를 구할 때, 맨 마지막단부터 차례대로 거슬러 올라가면서 모든 은닉유닛의 매개변수에 대한 오류함수의 기울기를 구해내는데, feed forward network의 일반적인 방향(forward)과 반대로(backward) 거슬러 올라가기 때문에 이렇게 부름. 신경망을 학습시키기 위한 알고리즘의 이름이라고 생각하면 됨.

CNN :

convolutional neural network. 입력노드와 히든노드간의 연결이 convolution연산을 기본으로 하도록 디자인된 네트워크. 출력층이 어럿으로 이루어져 feature들을 나타낸다.(입력차원수와 무관하게 조절 가능하다.) 대략의 구조는 강의자료 참고

혼합밀도 네트워크 :

하나의 사전분포로 데이터집합을 잘 표현할 수 없거나, 비정형의 데이터분포를 나타내야 할 때, 여러 기저함수를 이용해 비선형함수를 근사해내듯이 여러 분포를 혼합하여 적절한 매개변수를 선택한 뒤 데이터분포를 추측하거나 묘사해낸다. 신경망의 경우 처음부터 베이지안으로 해결하기 어려운 분포를 근사해내기 위해 사용되므로, 혼합밀도 네트워크의 일종으로 보는 것도 가능하다.