Abstract >Deep Neural networks (NNs) are powerful black box predictors that have recently achieved impressive performance on a wide spectrum of tasks. Quantifying predictive uncertainty in NNs is challenging and yet unsolved problem. 이 논문의 경우 17년도 논문이라 글이 요즘 논문이랑은 좀 다르지만 Bayesian NN이 아닌 일반 NN으로 Quantifying predictive uncertainty를 성공적으로 수행한 모델을 제안한 것으로 유명한 것 같다. 일반적으로 딥러닝은 블랙박스(안을 알 수 없는) 예측기로 최근에 넓은 범위의 테스크에서 놀라운 성능을 보이고 있다고 한다.(2017년 기준) 그럼에도 불구하고, Predictive Uncertainty를 측정하는 것은 매

ref : https://github.com/Mephisto405/Learning-Loss-for-Active-Learning Abstract >The preformance of deep neural networks improves with more annotated data. The problem is that the budget for annotation is limited. 보통 네트워크는 더 많은 annotated data를 통해 성능이 향상되는데, 문제는 이러한 annotation이 비용이 많이 든다는 것이다. >One solution to this is active learning, where a model asks human to annotate data that it perceived as uncertain. A variety of recent methods have been proposed to apply active learni

논문의 저자는 다음과 같이 설명한다. > To jointly address these issues, we propose a method of learning confidence estimates for neural networks that is simple to implement and produces intuitively interpretable outputs. > Additionally, we address the problem of calibrating out-of-distribution detectors. where we demonstrate that misclassified in-distribution examples can be used as a proxy for out-of-distribution examples. 위 두 내용이 핵심 내용이다. 먼저 네트워크가 confidence estimates라는 것을 학습시킬 수 있도록 네트워크를 구성한다. 덧

Model Calibration이란 무엇일까 ? Calibration : 교정 모델 교정. 보통 교정은 잘못된 행동을 고치거나 바로잡는 것을 뜻한다. 말 그대로 모델의 잘못된 부분을 바로잡는 것이 model calibration이다. 실제 데이터(real-world)에서 분류 신경망 같은 경우 정확할 뿐만 아니라, 예측이 틀렸을 가능성에 대해서도 언급해줄 수 있어야 한다. 예를 들어, 자율 주행 자동차에서 네트워크가 보행자와 다른 장애물들을 탐지한다고 생각해보면, 만약 네트워크가 장애물들에 대해 즉각적으로 탐지하지 못한다면, 부딪힐 것이다. 구체적으로, 네트워크는 calibrated confidence measure를 예측에 추가적으로 제시해야 한다. 다른 말로, 예측 클래스들에 대한 확률값들이 실제 데이터를 얼만큼 맞추느냐를 반영해야 한다는 것이다. ![](https://velog.velcdn.com/images/mawjdgus/post/705bc56c-68f

굉장히 간단하면서도 재밌는 아이디어를 가진 논문이다. 여느 논문들과 같이 이 논문도 Out-of-Distribution을 어떻게 하면 잘 잡을 수 있을지에 대한 방법을 다룬 논문이다. 논문에서 가장 핵심 아이디어는 다음과 같다. 먼저 가장 기본적으로 사용되는 OOD 방법처럼 Confidence를 이용한다 이 때 보통 OOD에 대한 Confidence값이 ID보다 작다 (ID로 훈련하니까 당연함) 근데 이 논문에서는 굉장히 재밌게 이 문제를 푸는데 바로 모델의 Feature Extractor에서 , 두개의 Classifier Network로 나눈 뒤에 이 두 Classifier의 Softmax값을 비교함으로써 문제를 해결했다. 이 때,저자들의 주장은 다음과 같다. The two

딥러닝이 많이 발전하고, 여러가지 접근법들이 많이 나왔지만 이상치 탐지(anomaly detection)에 관한 내용은 여전히 좀 부족하다. 그래서 저자들은 새로운 이상치 탐지 기법인 Deep Support Vector Data Description에 대해 제시했다. MNIST와 CIFAR-10에서 효과적이더라. 저자들은 Anomaly Detection(AD)를 커널 기반의 one-class 분류 그리고 minimum volume estimation을 통해 새로운 접근법을 제시한다. 바로 Deep SVDD(Deep Support Vector Data Description)이란 신경망 네트워크가 data representation을 hypersphere(구체)로 감싸고 그 구체를 부피 minimizing하는 방법이다. 이렇게 구체의 부피를 최소화하는 것은, 신경망 네트워크가 데이터들을 구체의 중심부에 가깝게 만들면서, 분산의 공통 요소들을 추출할 수 있도록 만들어준다. ![]

본 논문은 OOD문제를 self-supervised learning을 통한 representation learning에 기반하여 문제를 해결한다. > We ask the following question: what training information is required to design an effective outlier/out-of-distribution (OOD) detector, i.e., detecting samples that lie far away from the training distribution? 논문의 저자는 다음과 같은 질문을 던진다. 어떤 훈련 정보가 효과적인 OOD를 디자인하는데 필요할까? 즉, 훈련된 분포로부터 멀리 떨어진 샘플들에 대해 탐지하는 것에 필요한 훈련 정보가 무엇이 있을까? 라는 질문이다. 그에 대한 해답으로, 본 논문에서는 SSD 라는 Framework를 제시한다. 이는 라벨이 없는 in-distribution

이 논문은 Knowledge Distillation을 처음으로 Self-supervised 기법을 적용시킨 논문으로 알고 있다. 이를 통해, 다른 다양한 regularization methods(restricting function space, injecting randomness during training, augmenting data, 등)를 앞서고 SOTA를 찍었다고 한다. 읽어보도록 하자. ABSTRACT 딥러닝에서의 일반화 능력은 매우 다양한 범주의 정규화 방법들로부터 적용되어 향상되어 왔다. 이 논문에서는 아주 간단하고 효과적인 정규화 방법론인 progressive self-knowledge distillation (PS-KD)에 대해 소개한다. 이 방법은 점진적으로 모델을 학습하며 스스로(self)의 knowledge를 통해 hard targets(one-hot vectors)를 훈련하는 동안 soft하게 만들어준다. 뭔 말이냐면 보통 label 값

Reference : https://tutorials.pytorch.kr/beginner/fgsm_tutorial.html https://jaketae.github.io/study/fgsm/ FGSM(Fast Gradient Sign Attack)에 대해 알아보자. 위협 모델 적대적 공격은 종류가 여러가지 있는데, 크게 두가지로 나뉜다. 화이트박스 블랙박스 화이트박스 공격은 공격자가 모델에 대해 아키텍처, 입력, 출력 가중치를 포함한 모든 것을 알고 있고 접근할 수 있다고 가정한다. 블랙박스 공격은 공격자가 모델의 입력과 출력에 대해서만 접근 가능하고 모델의 가중치와 아키텍처에 관한 내용은 모른다고 가정한다. 공격자의 목표는 여러 유형중 오분류 소스/타겟 오분류 오분류의 목표는 공격자가 출력으로 나온 분류 결과가 잘못 되도록 하나 새로운 분류 결과가 어떤 것이 나오는지 신경 쓰지 않는다. 소스/타겟 오분류는 공격자가 원래 특정 소스 클래스의

(내용이 틀릴 수 있습니다. 알려주시면 고치도록 하겠습니다.) 이 논문은 OOD의 조상격으로 아마 가장 먼저 소개되는 논문으로 알고 있다. 저자는 새로운 간단한 Baseline을 소개함으로써, OOD 연구가 활발하게 이뤄질 수 있도록 하였다. 해당 논문의 핵심은 probabilities from softmax distribution을 이용하면 misclassified, Out-of-distribution 문제를 쉽게 해결할 수 있다는 점을 얘기한다. 내용은 간단한데, 내가 영어를 너무 못해서 제대로 이해를 못하는 것 같다. ABSTRACT 본 논문의 저자는 어떤 하나의 example이 주어졌을 때, 그것이 잘못 분류(misclassified)되거나 원래의 훈련 데이터셋의 분포를 따르지 않는다(out-of-distribution)는 것을 탐지하기 위한 문제에 대해서 언급한다. > We present a simple baseline that

ABSTRACT 본 논문에서는 ODIN이라는 쉽고 효율적인 방법을 제안한다. 이 방법은 pre-trained된 neural network의 어떤 변화도 필요로 하지 않는다. 이 방법은 temperature scaling과 입력 이미지에 small perturbations을 더해줌으로써 in- and out-of-distribution사이의 softmax score를 더 효과적으로 분리할 수 있다. INTRODUCTION 딥러닝이 발전함에 있어서 여러 문제들이 있지만, 이 논문에서 다루고자 하는 문제는 처음보는 입력을 어떻게 처리할 것인지에 대한 것이다. 딥러닝이 신뢰할 수 있을만한 수준이 되기 위해서는 처음보는 입력(Out-of-distribution)에 대해서 불확실성을 가질 수 있는 것이 중요하다. Hendrycks & Gimpel은 이러한 문제(Detecting out-of-distribution)를 해결하기 위한 basel