XAI : 설명가능한 AI(eXplainable AI) - (3)

XAI 방법들을 어떻게 비교, 평가하는지 (어떤 설명 방법이 좋은 설명 방법인지)
고안된 방법의 문제점은 없는지

• 정량적 비교 및 평가 방법
  1) 사람들이 직접 설명들을 보고 비교, 평가하는 방법
  AMT (Amazon Mechanical Turk) test
  

사람들의 투표를 통해 평가

2) 어떤 설명이 더 잘 되어있는지 사람들이 평가

=> 돈, 비용이 많이 든다

• 정량적인 평가 방법
  1) 사람들이 이미 만들어놓은 Annotation dataset 활용
  
• Pointing Game : bounding box를 활용
• Weakly supervised Sementic segmentation
  : 픽셀별로 라벨이 모두 주어지지는 않기 때문에 weakly supervised라고 부름

• segmentation을 활용하는 방법

• mean IoU를 활용: 정답 map과 예측 map이 얼마나 겹치는지를 나타내는 지표

• 단점: annotation dataset을 얻기 쉽지 않고, 비용이 든다. bounding box와 segmentation 데이터의 정확도도 신뢰하기 어려움

Pixel perturbation
1) AOPC (Area Over the MoRF Perturbation Curve)
LRP 기반 방법이 가장 높은 AOPC 값을 가짐 => 주요 픽셀을 잘 구분해냄

2) Insertion and Deletion
: 픽셀을 하나씩 지워가면서 주요 픽셀을 구함

• 장점 : 사람이 만든 annotation dataset을 활용하지 않아도 됨
• 주어진 데이터의 입력에 픽셀을 지우면서 출력 값의 변화를 보는데, 이는 머신러닝 기법에 위반함
  => 출력 스코어가 정확하다고 볼 수 없음
  
  => 지운 자국때문에 풍선 클래스의 정확도가 높아질 수 있음

이를 보완한 기법
ROAR

• 장점: 픽셀 증가 또는 제거로 인한 문제를 줄일 수 있음
• 단점: 픽셀을 지우고 모델 재학습을 계속 해야하므로 계산복잡도가 매우 증가함

Sanity checks
1) Model randomization test

2) Adversarial attack
딥러닝 모델의 취약점: 적대적 공격 (입력 이미지에 약간의 변경을 가하게 되면 분류기의 예측 결과를 완전히 만들 수 있음)
=> XAI에서는 완전 다른 설명을 출력할 수 있다는 문제점

3) Adversarial model manipulation
=> 모델 계수들을 조금씩 조작하여 설명이 공정하게 나타나는 것처럼 보이게 출력하기