Abstract
최근, CLIP같은 모델이 out-of-distribution (OOD) detection과 generalization performance에서 아주 뛰어난 성능을 보여주고 있다. 그런데, 이러한 zero-shot in-distribution (ID) accuracy는 종종 downstream dataset에서 제한적이기 때문에, prompt learning과 같은 CLIP-based fine-tuning methods를 통한 ID classification 그리고 OOD generalization의 성능 향상이 등장하고 있다. 그런데, 이러한 fine-tuning이 few-shot downstream task에서 OOD detection에 어떤 영향을 주는지 잘 알려져 있지 않고 있다. 따라서, 이 논문에서는 multi-modal concept matching으로써의 OOD detection에 초점을 맞춤으로써, fine-tuning방법과 다양한 OOD score 사이의 갭을 매우려고 한다. 본 논문에서는 CLIP-based fine-tuning을 위해서 적절한 OOD score를 선택해야한다는 결과를 제안한다. 특히, MCM score는 일관적이게 좋은 결과를 보인다.
Introduction
거인의 어깨에 올라서서 더 넓은 세상을 바라보라 - 아이작 뉴턴