[Anomaly Detection] DDAD - Anomaly Detection with Conditioned Denoising Diffusion Models 논문리뷰

✏️ Abstract

 본 논문에서는 대상 이미지를 기반으로 한 이미지 재구성에 대한 새로운 노이즈 제거 프로세스인 "Denoising Diffusion Anomaly Detection (DDAD)"를 소개합니다.

 이상 탐지 프레임워크는 대상 이미지를 입력 이미지로 설정하여 노이즈 제거 과정을 진행하는 조건부 메커니즘을 사용합니다. 이는 결함이 없는 재구성이미지 패턴을 유지하면서 정상 패턴을 유지합니다. 이상 이미지는 입력 및 재구성된 이미지의 픽셀 및 특징별 비교를 통해 결정됩니다. 특징별 비교의 효과를 향상시키기 위해 사전 학습된 모델을 사용하고, 세밀하게 조정하기 위해 조건부 노이즈 제거 프로세스에서 생성된 거의 동일한 예제를 활용하는 도메인 적응 방법을 소개합니다.

 DDAD의 신뢰성은 MVTec 및 VisA 벤치마크를 포함한 다양한 데이터셋에서 입증되었으며, 각각 99.8%와 98.9%의 이미지 수준 AUROC(state-of-the-art 결과)를 달성했습니다.

✏️ 1. Introduction

• Anomaly Detection은 데이터에서 정상적인 관측과 일치하지 않는 인스턴스를 식별하는 작업입니다. 지도 학습 환경에서는 모델이 정상과 비정상 데이터가 포함된 데이터셋에서 훈련합니다. 하지만 이상치는 보통 예측할 수 없으며, 이러한 지도학습 모델은 추론이 어려운 경우가 있습니다. 비지도 학습 방법은 정상 샘플의 분포만을 모델링하여 이상을 정상 분포에서 벗어난 패턴으로 감지하므로 한정된 집합에 제한되지 않습니다.

• Representation-based method(표현 기반 방법)는 사전 훈련된 신경망에서 추출된 특성을 사용하여 정상 샘플에 대한 유사성 메트릭을 정의하고 nearest neighbor strategy으로 접근합니다. 반면 Reconstruction-based method(재구성 기반 방법)는 오직 정상적인 훈련 예제에서 생성 모델을 학습하여 정상 샘플의 전체 분포를 학습하기 때문에 분포 밖의 이미지를 생성 할수 없습니다. 이로 인해 비정상 입력과 생성된 이상 없는(분포 내의) 재구성이미지를 비교함으로써 이상을 감지할 수 있습니다.

• 최근 Diffusion 모델들은 생성 모델로서 인기를 얻고 있습니다. 본 논문에서는 Diffusion 모델이 이상 감지 작업에 적용될 수 있도록 하였습니다. 첫째, 우리는 각각의 이상적인 이미지에 대한 노이즈를 제거하고 복원하는 프로세스를 안내하는 조건부 메커니즘을 제안합니다. 이 조건부 메커니즘은 이미지 AUROC를 각각 MVTec 및 VisA에서 85.7%에서 92.4%, 87.0%에서 94.1%로 증가시켰습니다. 둘째, 우리는 재구성이미지와 입력 이미지 간의 픽셀별 및 특징별 비교의 결합이 감지 및 정확도를 향상시킨다는 것을 발견합니다. 셋째, 우리는 사전 훈련된 특성 추출기의 도메인을 문제에 맞추기 위한 비지도 학습 도메인 적응 기술을 소개합니다.

✏️ 2. Related Work

[Representation-based method]
Representation-based method는 이미지 특징을 학습하기 위해 자기 지도 학습을 사용해왔으며, 종종 보조 작업을 해결함으로써 수행되었습니다. 이상 감지 분야에서는 고품질의 특징이 이상한 샘플의 감지를 용이하게 하는 것을 보여주었습니다. DN2는 Imagenet에서 사전 훈련된 간단한 ResNets를 사용하여 정보를 추출하는 데 성공했습니다. 최근 접근법 중 SPADE는 정상 추출된 특성의 메모리 뱅크를 사용하고, PaDiM은 지역적으로 제한된 특징 가방을 사용하며, PatchCore는 메모리 뱅크와 이웃을 고려한 패치 수준의 특징을 사용합니다. 또한 CFLOW와 FastFlow는 정규화 흐름을 사용하고, US와 RD4AD는 이상 감지를 위해 지식 증류 방법을 사용합니다. 이들은 모두 현재 문제 도메인에 대한 적응 없이 사전 훈련된 특성 추출기를 사용합니다. 이러한 모델은 사전 훈련된 특성 추출기가 정보를 제공하지 못할 때 실패할 수 있습니다. 본 연구에서는 지역적으로 인식하는 패치 특징을 활용하여 입력 이미지와 재구성된 이미지의 비교를 개선합니다. 또한 위 모델에서 사용된 특성 추출기의 현재 도메인 지식을 전이하는 방법을 제안하여 우수한 성능을 달성합니다.

[Reconstruction-based method]
Reconstruction-based method는 이상 감지를 위한 초기 프레임워크로, 정상 데이터를 정확하게 재구성하면서 이상이미지를 제대로 재구성하지 못하는 생성 모델의 개념에 기반합니다. 이상 데이터는 학습된 패턴에서 벗어나므로 이상을 추론할 때 재구성이 부족할 수 있습니다. 예를 들어 VAE(Variational Autoencoder)가 있습니다. 최근에는 Denoising Defusion Model이 모델이 의료 분야에서 이상을 감지하는 데 사용되는 등 인기를 얻고 있습니다.

✏️ 3. Method

[3.1] Conditional Denoising Process for Reconstruction

주어진 대상 이미지 $y$와 변형된 이미지 $x_t$가 있을 때, 우리의 목표는 $x_t$를 단계별로 노이즈를 제거하여 $y$와 매우 유사한 이미지로 만드는 것입니다. 이를 위해 우리는 대상 이미지를 조건으로 하는 score function를 사용하여 posterior score function $∇_{x_{t}} log\,p_{θ}(x_{t}|y)$를 얻으려고 합니다. 그러나 $x_t$와 $y$는 동일한 신호 대 잡음 비율을 갖고 있지 않기 때문에 이러한 posterior score function를 직접 계산하는 것은 어렵습니다. 따라서 우리는 재구성된 이미지 $x_0$이 $y$와 유사하다고 가정합니다. 따라서 $y$에 $x_t$와 동일한 잡음을 추가하면 $x_t∼y_t$가 될 것이라는 것입니다. 이것은 각 노이즈 제거 단계에서 $x_t$를 $y_t$와 비슷하게 만드는데 도움이 됩니다. $y_t$를 계산하기 위해, 훈련된 확산 모델에 의해 예측된 $ϵ_{θ}^{(t)}(x_{t})$를 $y$에 추가합니다. 이후, 조건은 $y$를 $y_t$로 대체함으로써 수정되어 노이즈 제거 프로세스를 안내하는 $∇_{x_{t}} log\,p_θ(x_t|y_t)$로 결과가 나타납니다. 베이즈 정리에 따라, 이것은 다음과 같이 분해됩니다:

노이즈 제거 과정에서 조건부 점수 항목인 $∇_{x_{t}} log\,p_θ(x_t|y_t)$을 계산하는 것은 복잡합니다. 그러나 $y_t$가 계산되면 이 확률을 직접 계산할 수 있습니다. 이 확률은 $x_t$와 $y_t$ 간의 차이를 보정하는 데 사용됩니다. 이러한 보정된 차이를 이용하여 수정된 노이즈 항목인 $\hat{ϵ}$을 계산하고, 이를 사용하여 $x_{t−1}$을 계산합니다.

아래 의사코드는 위 과정을 표현한 것입니다.

[3.2] Reconstruction for Anomaly Detection

이상 탐지 작업에서는 대상 이미지 $y$를 입력 이미지 $x$로 설정합니다. 이를 통해 $y$에 조건을 걸어 노이즈 제거 과정이 $x$의 이상 없는 근사값을 생성할 수 있습니다. 모델이 오직 정상 데이터에 대해서만 훈련되기 때문에, 이상적인 영역은 $p_θ(x)$의 낮은 확률 밀도에 위치합니다. 그러므로 노이즈 제거 중에 이상적인 부분의 재구성은 정상적인 부분보다 뒤처집니다.

전체 경로 동안 초기 단계에서는 이미지의 개략적인 모습에 집중하고, 나중 단계에서는 미세한 세부 사항을 재구성하려 합니다. 이상은 주로 미세한 수준에서 발생하기 때문에, 노이즈 제거 시작 시간 단계를 완전한 노이즈보다 이른 시점으로 설정할 수 있습니다. 즉, $T' < T$로 설정합니다. 이 모델이 전체 경로에 대해 훈련되었다는 점을 명심해야 합니다.

우리는 이 모델을 DDAD-n이라고 부르는데, 여기서 $n$은 노이즈 제거 반복 횟수를 의미합니다.

[3.3] Anomaly Scoring

 간단한 경우에는 입력 이미지와 해당 재구성물 간의 픽셀 단위 비교를 통해 이상을 감지합니다. 그러나 두 이미지의 픽셀 거리만을 비교하는 것으로는 색상 변화가 없는 곳과 같은 이상치를 못 찾을 때가 있습니다. 따라서 우리는 딥러닝 네트워크에 의해 추출된 이미지 특징 간의 거리를 계산하여 지각적 유사성을 고려합니다. 특징은 픽셀 단위 비교가 실패할 수 있는 가장자리와 질감의 변화에 민감하지만, 약간의 변형에 대해서는 일반적으로 견고합니다. 우리는 이미지와 특징 수준의 비교를 모두 활용하여 가장 정확한 이상 지역화를 얻을 수 있음을 발견했습니다.

 재구성된 이미지 $(x_0)$와 대상 이미지 $(y)$를 고려할 때, 우리는 픽셀 단위 거리 함수 $(D_p)$와 특징 단위 거리 함수 $(D_f)$를 정의하여 이상 히트맵을 유도합니다. $(D_p)$는 픽셀 공간의 $(L_1)$ 노름에 기반하여 계산되며, 특징 수준에서는 적응형 평균 풀링을 사용하여 각각의 특징 맵을 공간적으로 평활화합니다. 마지막으로, 코사인 유사도를 사용하여 $(D_f)$를 정의합니다. 결과적으로 최종 이상 점수 함수는 픽셀과 특징 거리의 조합으로 구성됩니다. 여기서 $(v)$는 픽셀 단위 거리의 중요성을 제어합니다.

[3.4] Domain Adaptation

[3.3] Anomaly Scoring에서는 입력 이미지와 재구성된 이미지 간의 특징 비교에 사전 학습된 특징 추출기를 사용하는 방법을 소개합니다. 그러나 ImageNet에서 학습된 이러한 추출기는 이상 탐지 작업의 특정한 특성에 잘 적응하지 않을 수 있습니다. 이에 대응하기 위해 거의 동일한 이미지에서 추출된 특징을 수렴시키는 새로운 비지도 도메인 적응 기술이 제안됩니다. 이러한 적응은 재구성 중 발생할 수 있는 변화에 대응하면서도 도메인별 패턴을 학습하는 데 도움이 됩니다. 이 과정에는 잡음이 있는 이미지의 재구성, 특징 추출 및 코사인 유사도 기반 손실 함수를 사용한 네트워크의 세밀 조정이 포함됩니다. 그러나 적응 중에 일반화의 손실을 방지하기 위해 고정된 특징 추출기로부터의 증류 손실이 통합됩니다. 이를 통해 특징 추출기가 새로운 도메인에 적응할 때 다양성을 유지할 수 있습니다.

✏️ 4. Conclusion

우리는 이상 감지를 위한 새로운 재구성 기반 접근 방식인 Denoising Diffusion Anomaly Detection (DDAD)을 소개했습니다. 이 모델은 최근 Diffusion의 탁월한 생성 능력을 활용하여 이상 감지를 수행합니다. 우리는 조건화된 노이즈 제거 과정을 설계하여 대상 이미지와 유사한 이상 없는 이미지를 생성합니다. 또한, 정확한 이상 지역화를 위해 픽셀 및 특징 일치를 기반으로 한 이미지 비교 방법을 제안합니다. 마지막으로, 우리는 사전 학습된 신경망을 문제의 도메인에 적응시키기 위해 우리의 노이즈 제거 모델을 활용하는 새로운 기술을 소개합니다. DDAD는 재구성 기반 방법임에도 불구하고 MVTec, VisA 및 MTD와 같은 벤치마크 데이터셋에서 최첨단 결과를 달성합니다.제한 사항 및 향후 연구. 이 연구에서는 우리의 기여가 동등한 이상 감지 성능을 유지하면서 추론 속도를 향상시킨다는 것을 보였습니다. 그러나 여전히 이상 지역화를 개선할 여지가 있다고 믿습니다. 노이즈 제거 시작 지점을 동적으로 선택하거나 훈련을 위해 잠재 공간을 추상화하는 등의 개입은 향후 연구에서 탐구할 수 있는 유망한 방향입니다.