[NIPS2017]Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles - [2022.08.05]

mawjdgus·2022년 8월 5일


목록 보기


Deep Neural networks (NNs) are powerful black box predictors that have recently achieved impressive performance on a wide spectrum of tasks. Quantifying predictive uncertainty in NNs is challenging and yet unsolved problem.

이 논문의 경우 17년도 논문이라 글이 요즘 논문이랑은 좀 다르지만 Bayesian NN이 아닌 일반 NN으로 Quantifying predictive uncertainty를 성공적으로 수행한 모델을 제안한 것으로 유명한 것 같다.

일반적으로 딥러닝은 블랙박스(안을 알 수 없는) 예측기로 최근에 넓은 범위의 테스크에서 놀라운 성능을 보이고 있다고 한다.(2017년 기준) 그럼에도 불구하고, Predictive Uncertainty를 측정하는 것은 매우 어려운 일이다.

Bayesian NNs, which learn a distribution over weights, are currently the state-of-the-art for estimating predictive uncertainty; however these require significant modifications to the training procedure and are computationally expensive compared to standard (non-Bayesian) NNs.

베이시안 네트워크는 weight의 분포를 학습하도록 만들어 이러한 불확실성을 측정하는데 SOTA를 달성하였다. 그러나 이러한 베이시안 네트워크는 학습과정에서 많은 수정과 계산이 일반적인 네트워크에 비해서 방대하다는 단점이 존재한다.

We propose an alternative to Bayesian NNs that is simple to implement, readily parallelizable, requires very little hyperparameter of experiments on classification and regression benchmarks, we demonstrate that our method produces well-calibrated uncertainty estimates which are as good or better than approximate Bayesian NNs.

그래서 본 논문의 저자는 베이시안 네트워크를 대체할 수 있는 간단하고 매우 적은 파라미터 학습으로 분류와 회귀 벤치마크 테스크에서 베이시안 네트워크를 뛰어넘는 모델을 제안한다. 이 방법은 잘 calibrated uncertainty estimates를 만들 수 있다.

To assess robustness to dataset shift, we evaluate the predictive uncertainty on test examples from known and unknown distributions, and show that our method is able to express higher uncertainty on out-of-distribution examples.

성능을 테스트 하기 위해서, out-of-distribution example을 통해 uncertainty를 평가 하였다.

Summaryofcontributions:Summary of contributions:

Our contribution in this paper is two fold. First, we describe a simple and scalable method for estimating predictive uncertainty estimates from NNs. We argue for training probabilistic NNs (that model predictive distributions) using a proper scoring rule as the training criteria.

We additionally investigate the effect of two modifications to the training pipeline, namely (i)ensembles(\mathbf{i})ensembles and (ii)adversarialtraining(\mathbf{ii})adversarial training and describe how they can produce smooth predictive estimates.

Secondly we propose a series of tasks for evaluating the quality of the predictive uncertainty estimates, in terms of calibration and generalization to unknown classes in supervised learning problems.

급할수록 돌아가라

0개의 댓글