[XAI 논문] Explainable AI: current status and future directions

논문

XAI techniques을 다양한 미디어의 관점에서 다룰 예정이다. 장점과 단점 또한 논의 되어 있으니 이를 바탕으로 방향성을 잡아보는 것은 어떤가

Introduction

• 현 시점에서 AI가 활용되고 있는 것들 그리고 해결할 수 있는 문제들에 대해서 언급하며, 현재는 Machine Learning에 국한되어 "Black Box" 형태 (내부를 알 수 없는)의 구현 물이라는 것을 말함.
• 왜 XAI가 필요한가? AI를 통해 어떠한 판단을 내리려는 행위를 사람들이 원하는데 이 때 신뢰도와 투명성이 필요하다. (예를 들어, 의사의 진찰) 그렇기에 "wh" 질문들 (whym when, wher,..)와 같은 것에 대답을 할 수 있어야 한다.
• XAI의 방식 : white box 형태로 가기 위해서 분류, 회귀 결과를 얻기 전에 "wh" 질문들을 수행할 수 있도록 한다.
• 데이터의 미디어 별로 XAI를 구별하여 판단하였다. 미디어에 따라 방식이 적용되는지 안 되는지 구분되기 떄문에, 장점 그리고 단점을 확인하였으며 미래의 방향성 까지 제안 한다.

Blackbox AI

-사람의 일상에 밀접한 일들에 많은 도움을 줬는데 사이버 포렌식, 범죄 판단 등이 그 대상이다. 그러나, 이들의 저조한 설명력으로 모두를 설득하기에는 역부족이다.
-"설명가능력(Explainability)"은 AI 모델의 투명성을 얻기 위해 그리고 설득력이 있다고 생각 되기 위해서 필요하다.

• 뉴럴 구조, 딥러닝 모델 같은 경우 해석하기 어렵고 난해해졌다. 사람 수준의 정확성을 얻기 위해서 알고리즘이 복잡해지면서 발생한 결과이다.

Case 1 : Oil Refinery Assets Reliability: Furnace Flooding Predictions

• 상황 설명 : 안정적인 연소가 용광로의 운영에 필수적이다. 확인되지 않은 변수로 인해 연소가 중단된다면 이는 사고로 이루어질 수 있는데 용광로의 범람, 그리고 폭발로 이어 질 수 있다. 그럴 경우 생산에 차질이 생기고 많은 유지 비용이 들기에 경제적 손실을 피할 수 없게 된다.

• AI의 판단 : 용광로의 범람이 발생할거라면 최소한 30분전에 staff에게 알림을 줄 수 있어야 한다. 이러한 모델을 만들기 위해서 날씨, 습도와 같은 데이터를 포함한 여러 센서 데이터가 필요하다.

• 왜 XAI? : 용광로의 범람에 영향을 준 factor들은 여러가지가 있을 것이다. 실제 staff이 범람을 막은 후에는 문제가 무엇인지 확인할 것이며 어떤 센서 데이터가 영향이 있는지 확인이 가능하다. 이와 관련된 다른 부품들은 손을 보는 것으로 관리가 가능해지기 때문에 어떤 원인이 있었는지에 대한 설명이 필요하다. 그러므로 AI 모델 제작시에 이러한 사고의 원인 또한 예측할 수 있도록 한다면 도움이 될 것이다.

Case 2 : Video Threat Detection

• 상황 설명 : 현대 보안 기술에는 사람과 영상 분석 기술이 합쳐져서 이루어져 있다. 그러나, 인간의 눈의 한계로 인해 모든 상황을 확인하기란 불가능하다.
• AI의 판단 : AI를 통해 영상에서의 위협을 감지한다. 물체, 얼굴 인식의 모델로 위협을 확인하여 사람에게 알린다.
• 왜 XAI? : 모델의 편향성으로 인해 잘못된 결과를 얻을 수 있다. 그리고 이는 법적인 측면에서도 매우 위험한 상황으로 기업의 이미지적, 경제적 손실이 발생할 수 있다.

Usage

• AI라 함은 지구상에 존재하는 모든 생명체의 인지적 행동을 모방하는 것이다.
• 의사, 간호사들의 진찰에 도움을 준다. 자율 주행 차량 분야 또한 그렇다. 범죄 판단에도 그러하다.

KEY ISSUE : Explainable ML

• 설명하기 어려운 이유는 Black Box 형태가 사람이 이해하기에 좀 복잡하기 떄문이다. 뉴럴 구조를 활용하는 경우 활성함수를 활용하는 것처럼 말이다. XAI를 하면 정확성을 낮출 수 있다는 믿음도 있어 사람들이 정확성을 더 염두에 둔다.
• 정확성이 다른 거는 아마 다른 데이터로 학습을 해서 결과가 그럴 것이다. 그런데 XAI가 추론결과와 관련 없는 정보를 너무 많이 제공하기도 한다.

XAIs

• 목적 : "wh" 질문에 대해 답하는 것이다. 이를 통해 신뢰성, 투명성(공정성), 신뢰도 및 정보성을 가진다.

Transparency and Informativeness

• 투명성(공정성)은 타당한 이유를 대중들에게 제공함으로 얻어진다. AI 모델의 잘못된 훈련을 예방할 수 있다.

Trust and confidence

• 신뢰도가 있어야 사람들이 해당 기술을 쓴다. 논리적이고 과학적인 증거가 필요하다.

XAI : classification tree

• 2개의 카테고리 (투명성 or post-hoc)
• 투명성 : 판단 결정 프로세스 즉, 내부의 메커니즘이 해석하기 쉬운 형태를 뜻함. (베이지안, 결정 트리, 선형 회귀 등) => 내부의 feature 연관성이 복잡하지 않거나 선형적일 경우 좋음.

POSTHOC 방식

• 사용 상황 : 비선형적 관계 or 데이터의 복잡성이 높은 경우
• 동작 방식 : 입력으로 훈련, 테스트된 AI 모델을 제공한다. 내부의 동작 방식과 결정 판단 로직을 feature 중요성 수치, 판단 규칙, 히트 맵 또는 자연어의 형태로 근사치를 얻는다.
• 목적 : feature 값과 예측 결과의 연관성을 보이기 위해.
  
  
  종류
• Model specific : 딥러닝 내부에 대한 설명이 가능케 함.
• Model agnostic : 모델에 적용된 입력 값과 예측 값을 통해 내부의 메커니즘을 설명함.

  => 결국에는 입력 값과, 예측 값에 대한 분석을 통해 설명력을 얻어내야 함.

TRANSPARENT 방식

• 선형 회귀, SVM(support vector machine), 베이지안 분류, K-nn 등의 모델이 이에 해당 하며 알고리즘 적 투명성, 분리성, 시뮬레이션 가능성 세가지 특징을 가짐.
  
  
• 투명성 : 입력 데이터에서 마지막 결정, 분류에 대한 알고리즘의 해석 가능성을 정의 하는 것이다.

  => 결국 transparency 는 사람이 읽을 수 있냐? 해석할 만한 방식이냐를 의미하는 것 같다.

• 분리성 : 모델의 입력 데이터에 대한 하이퍼 파라미터의 설명력을 의미함. (모델의 계산 측면에서 설명이 가능한가.)

  딥러닝이라면 뉴럴 구조를 분리하여 생각할 거 같고, 머신러닝이니 계산을 위한 세팅? 학습을 위한 세팅 정도로 생각하자.

• 시뮬레이션 가능성 : 사람도 읽고 할 수 있는가?가 기준이 된다.

XAI에 의해 찾은 예시 모델들

• Linear/Logistic Regression : 이를 해석하기 위해서는 해당 방식과 기술을 하는 사람이 필요하다. 그 사람의 판단에 따라 Transparent한지, post-hoc을 해야 할지가 나뉜다. 물론 수학적인 지식에 대해서는 미리 알아야 한다.

• Decision Tree : 작은 스케일의 모델은 사람도 쉽게 만들어 볼 수 있다. 모델이 일반화되기는 쉽지 않기에 ensembling하여 결과를 얻는것이 일반적이다. 이러한 적용이 transparency를 줄이기도 한다.

  Large law of numbers 였나, 그걸 근거로 들면 여전히 해석, 설명은 가능 할 듯.

• K-Nearest Neighbors

• Rule based learning : 모델을 학습하기 위한 규칙을 사람이 정의한다. if-else 구조 or first-order-logic으로 규칙을 제작한다.

  first-order logic : 한정사, 술어, 객체 들이 모여 하나의 논리를 만드는 방식. 한정사를 사용하는 것에 따라 뒤에 나오는 술어, 객체의 해석이 달라지며 이를 통해 무궁무진한 설명이 가능하다. 술어는 임의로 작성하는 수도 코드 느낌이다. 참, 거짓 뿐 아니라 Unknown을 포함하여 판단한다.

• Bayesian Model : 조건부 확률에 대한 지식이 있다면 투명성(해석 가능, 설명력)을 가질 것이다.

Model Specific

• 해당 기술들로 판단 될 수 있다.
  
  

• Feature Relevance : 결과 판단에 가장 영향력이 큰 feature를 찾는 것은 언제나 중요하다. 이를 위해 feature importance가 대두되었다. 그리고 이에 따라 feature correlation의 중요성도 높아졌다.

  마치 사람의 연상과정에서 특정 생각이 점화 되면, 이와 연관된 다른 것들도 생각이 나듯이 연관성이 설명력의 주된 요인이 된다.

• Condition based Explanation : 이는 "왜", "했음에도 불구하고 왜?", "이 상황에서 왜?" 라는 질문에 답을 주기 위해 필요하다.

  이걸 통해서 드는 생각. 데이터는 아주 많아야 한다. 성능도 아주 좋아야 한다. 왜? 동일한 상황에서 동일한 결과를 나오게 해야 설명력이 충분해지니까, 여러 상황을 주기 위해 데이터가 필요하고 이런 상황에 동일한 판단을 내리는 모델이 궁극적으로 가장 좋은 거다.

• Rule based learning : 결국 모델에 대한 이해를 한 후에 규칙을 통해서 어떤 결과를 만들었다라고 설명을 할 수 있다.

• Feature based saliency map : Back propagation 할 때 어떠한 feature들이 변형 되었는지를 map을 통해 보여줌.

  이거는 괜찮은 듯, 이미 알맞은 feature들과 아닌 것들을 구분 할 수 있고 저 때의 결과물을 비교할 수 있다면 더 알 수 있을 듯. (feature들을 고르고, 입력-출력의 다른 부분을 찾아서 비교.)

Model Agnostic

• 이런 모델에는 LIME, perturbation, LRP, provenance and taxonomy induction 등의 기술이 적용된다. 여러 문자, 영상, 음성 데이터에 적용이 가능한 기술이기에 적절하다.
  
  

• LIME (Local Interpretable Model-agnostic Explanations) : 어떠한 supervised-learning에도 적용이 가능하다. 주요 feature의 인접한 것들을 가지고 local optima를 설명할 수 있게 한다.

• perturbation : feature에 노이즈를 주어서 해당 값이 결과에 주는 영향을 파악. 연산량이 너무 높은게 흠이긴 하다.

• LRP (Layer-wise Relevance Propagation)

• provenance and taxonomy induction

reference

• Prashant Gohel, Priyanka Singh, Manoranjan Mohanty, "Explainable AI: current status and future directions", https://arxiv.org/pdf/2107.07045.pdf