KETOD: Knowledge-Enriched Task-Oriented Dialogue

jihyelee·2023년 7월 27일

Task-oriented Dialogue (TOD; 태스크 지향 대화)
- 시스템이 사용자의 의도나 목표를 수집해 특정한 태스크를 완수하고자 함
- 일반적으로 답변이 간결하고 정형화
- 대화 상태 추적(dialogue state tracking), 행동 예측, 답변 생성 등의 구성요소 필요
- 관련 데이터셋: DSTC challenge series, MultiWOZ, SGD
Chit-chat (일상적 대화)
- 최근 지식에 기반한(knowledge-grounded) 일상적 대화 연구가 활발
- 외부의 지식을 이용해 환각(hallucination; 그럴듯한 거짓말)을 줄이고 대화를 풍성하게 하고자 함
- 관련 데이터셋: Topical-Chat, WOW dataset

기존의 대화(dialogue) 시스템 연구들은 태스크 지향 대화(task-oriented) 혹은 일상적 대화(chit-chat)를 별개의 도메인으로 연구
- 하지만 더 나은 대화 시스템을 위해서는 둘 모두를 지원할 수 있어야 함

KETOD (Knowledge-Enriched Task-Oriented Dailgoue) dataset

기존의 TOD 데이터셋에 기반해 이와 관련된 엔티티(개체; Entity) 기반 지식을 이용한 일상적 대화 추가
- 1. TOD 데이터 준비
  - 기존의 SGD 데이터셋 활용
  - 대화 상태(state)와 행동(action)으로부터 개체 추출
- 1. 지식 검색(retrieval)
  - 도메인명과 개체명을 쿼리로 삼아 위키피디아에서 검색
  - DrQA retriever 활용
- 1. 답변 확장(enrichment)
  - 사람으로 하여금 대화 문맥과 검색된 지식을 바탕으로 기존의 TOD에서 시스템의 답변을 풍성하게 만들게 함
  - 구체적으로는 몇 번에 걸쳐서, 몇 번째의 답변을 풍성하게 할 것인지 결정하고, 관련된 지식 일부를 선택하고, 답변을 재작성하도록 함
engagingness(매력있음), interestingness(흥미로움), knowledge(지식), humanness(사람다움)과 같은 지표를 높일 수 있는 데이터셋

SimpleToDPlus & Combinder models

SimpleToDPlus
- end-to-end 모델
  - 단일 모델이 belief state, aciton, resposne를 연속적으로 생성
Combinder
- 파이프라인 모델
  - SimpleToD가 belief state, action을 생성
  - GPT-2가 response를 생성

평가지표
- belief state: joint goal accuracy, average goal accuracy
- actions: act-slot F1
- response: BLEU-4 scores
전반적으로 SimpleToDPlus가 TOD 성능을 유지함과 동시에 더 나은 답변 생성 능력을 보여줌
Combiner
- 답변 생성이 별도로 이루어지기 때문에 지식을 추가한(knowledge enrichment) 답변의 사실성(factfulness)에서 더 좋은 성능을 보임
- 하지만 pipeline의 성격 상 오류가 연속적으로 전파(error cascade)될 수 있기 때문에 전반적인 일관성(consistency)이 낮아짐

지식 선택에 변동성(variance)이 있기 때문에 지식 선택 전략을 잘 만들어야 하며, 언제 지식을 추가한 chit-chat을 추가하는 지가 중요함을 ablation에서 보였으나 이에 대한 구체적인 전략 제시가 부족

Graduate student at Seoul National University, majoring in Artificial Intelligence (NLP). Currently AI Researcher and Engineer at LG CNS AI Lab