[NeurIPS 2023] Non-Parametric Outlier Synthesis

오늘 공유드릴 논문은

Non-Parametric Outlier Synthesis (NPOS)

https://arxiv.org/pdf/2303.02966.pdf

로 이전에 소개드린 Dream the Impossible의 기반이 되는 연구로, artificial OoD data를 generating하여 OoDD문제를 해결해내는 연구입니다. (동일저자였네요)

본 논문에서 가장 해결하고 싶은 문제는

"how to provide OOD data for training without explicit knowledge about unknowns"

로 OoD에 대한 정보가 없는 상태로 OoD Data를 만들어 낼 때 어떻게 그럴싸한 OoD data를 잘 만들어낼 수 있을까 ? 를 해결하고 싶었던 것 같습니다.

프레임워크를 살펴보면

1. in-distribution sample의 accuracy
2. outside in-distribution(OOD)에 대한 detection 능력

논문에서는 이 두가지 능력을 다 만족하는 모델을 만들고 싶고, 특히 2번을 non-parametric outlier synthesis를 통해 해결하고자 합니다.

1. training sample의 embedding space상에서 높은 k-NN distance를 가지는 boundary sample을 추출한다.
2. gaussian kernel을 사용하여 variation을 둔 boundary 주변의 sample을 추출한다.
3. 이 때, rejection sampling 아이디어를 기반으로, beta level 이하의 lowest likelihood를 가지는 sample만을 사용하여 훈련을 진행한다.

이전에 소개드린 Dream the Impossible는 사실상 NPOS의 대부분을 비슷하게 가져갔다고 보시면 되는데, Dream the Impossible은 diffusion을 통해 embedding space -> pixel space로 확장한 것으로 이해했습니다.

근데 성능을 보면 diffusion을 통해 high-quality image를 생성하는 것이 훨씬 성능이 좋아보이는 것 같네요.