Abstract
Deep Neural networks (NNs) are powerful black box predictors that have recently achieved impressive performance on a wide spectrum of tasks.
Quantifying predictive uncertainty
in NNs is challenging and yet unsolved problem.
이 논문의 경우 17년도 논문이라 글이 요즘 논문이랑은 좀 다르지만 Bayesian NN이 아닌 일반 NN으로 Quantifying predictive uncertainty
를 성공적으로 수행한 모델을 제안한 것으로 유명한 것 같다.
일반적으로 딥러닝은 블랙박스(안을 알 수 없는) 예측기로 최근에 넓은 범위의 테스크에서 놀라운 성능을 보이고 있다고 한다.(2017년 기준) 그럼에도 불구하고, Predictive Uncertainty
를 측정하는 것은 매우 어려운 일이다.
Bayesian NNs, which learn a distribution over weights, are currently the state-of-the-art for estimating predictive uncertainty; however these require
significant modifications to the training procedure and are computationally expensive compared to standard (non-Bayesian)
NNs.
베이시안 네트워크는 weight
의 분포를 학습하도록 만들어 이러한 불확실성을 측정하는데 SOTA를 달성하였다. 그러나 이러한 베이시안 네트워크는 학습과정에서 많은 수정과 계산이 일반적인 네트워크에 비해서 방대하다는 단점이 존재한다.
We propose an alternative to Bayesian NNs that is simple to implement, readily parallelizable, requires very little hyperparameter of experiments on classification and regression benchmarks, we demonstrate that
our method produces well-calibrated uncertainty estimates
which are as good or better than approximate Bayesian NNs.
그래서 본 논문의 저자는 베이시안 네트워크를 대체할 수 있는 간단하고 매우 적은 파라미터 학습으로 분류와 회귀 벤치마크 테스크에서 베이시안 네트워크를 뛰어넘는 모델을 제안한다. 이 방법은 잘 calibrated uncertainty estimates
를 만들 수 있다.
To assess robustness to dataset shift, we evaluate the predictive uncertainty on test examples from known and unknown distributions, and show that our method is able to express higher uncertainty on out-of-distribution examples.
성능을 테스트 하기 위해서, out-of-distribution example을 통해 uncertainty를 평가 하였다.
Our contribution in this paper is two fold.
First
, we describe a simple and scalable method for estimating predictive uncertainty estimates from NNs. We argue for training probabilistic NNs (that model predictive distributions) using a proper scoring rule as the training criteria.
We additionally investigate the effect of two modifications to the training pipeline, namely and and describe how they can produce smooth predictive estimates.
Secondly
we propose a series of tasks for evaluating the quality of the predictive uncertainty estimates, in terms of calibration and generalization to unknown classes in supervised learning problems.