We introduce a new, efficient, principled and backpropagation-compatible algorithm for learning a probability distribution on the weights of a neural network, called
Bayes by Backprop
논문의 핵심 내용은 위와 같다.
Backpropagation을 대체 가능 한 효율적인 NN(Neural Networks) 가중치 확률분포 학습 알고리즘을 제안한다.
이는 잘 알려진 Variational free energy or The expected lower bound를 최소화 하는 방향으로 가중치를 정규화한다. (뭔데 이게..)
이러한 정규화 방법들은 dropout을 MNIST에 적용한 것과 필적한 수준의 성능을 낸다고 한다.
그리고 나서 가중치들의 Uncertainty를 학습한 것이 얼마나 일반화 성능들을 비선형 회귀 문제에서 높였는지 그리고 얼마나 이러한 가중치들의 Uncertainty가 강화 학습에서 사용되는지 알아보았다.
일반적인 feedforward neural network는 과적합되기 쉽다.
지도학습 혹은 강화학습을 적용시킬 때 문제는 이러한 네트워크들이 종종 훈련 데이터들에 대해 불확실성을 옳바르게 평가하지 못하고 이로 인해 너무 큰 자신감을 갖고 예측을하는 경향이 있다.
저자들은 이 두가지 문제 모두를 Variational Bayesian learning을 통해 해결하고 가중치의 불확실성에 대해 얘기하고 자 한다.
저자들이 주장하는 알고리즘의 이름은 Bayes by Backprop이다.
