KETOD: Knowledge-Enriched Task-Oriented Dialogue

mmodestaa·2023년 7월 27일

Task-oriented Dialogue (TOD; 태스크 지향 대화)
- 시스템이 사용자의 의도나 목표를 수집해 특정한 태스크를 완수하고자 함
- 일반적으로 답변이 간결하고 정형화
- 대화 상태 추적(dialogue state tracking), 행동 예측, 답변 생성 등의 구성요소 필요
- 관련 데이터셋: DSTC challenge series, MultiWOZ, SGD
Chit-chat (일상적 대화)
- 최근 지식에 기반한(knowledge-grounded) 일상적 대화 연구가 활발
- 외부의 지식을 이용해 환각(hallucination; 그럴듯한 거짓말)을 줄이고 대화를 풍성하게 하고자 함
- 관련 데이터셋: Topical-Chat, WOW dataset

기존의 대화(dialogue) 시스템 연구들은 태스크 지향 대화(task-oriented) 혹은 일상적 대화(chit-chat)를 별개의 도메인으로 연구
- 하지만 더 나은 대화 시스템을 위해서는 둘 모두를 지원할 수 있어야 함

KETOD (Knowledge-Enriched Task-Oriented Dailgoue) dataset

기존의 TOD 데이터셋에 기반해 이와 관련된 엔티티(개체; Entity) 기반 지식을 이용한 일상적 대화 추가
- 1. TOD 데이터 준비
  - 기존의 SGD 데이터셋 활용
  - 대화 상태(state)와 행동(action)으로부터 개체 추출
- 1. 지식 검색(retrieval)
  - 도메인명과 개체명을 쿼리로 삼아 위키피디아에서 검색
  - DrQA retriever 활용
- 1. 답변 확장(enrichment)
  - 사람으로 하여금 대화 문맥과 검색된 지식을 바탕으로 기존의 TOD에서 시스템의 답변을 풍성하게 만들게 함
  - 구체적으로는 몇 번에 걸쳐서, 몇 번째의 답변을 풍성하게 할 것인지 결정하고, 관련된 지식 일부를 선택하고, 답변을 재작성하도록 함
engagingness(매력있음), interestingness(흥미로움), knowledge(지식), humanness(사람다움)과 같은 지표를 높일 수 있는 데이터셋

SimpleToDPlus & Combinder models

SimpleToDPlus
- end-to-end 모델
  - 단일 모델이 belief state, aciton, resposne를 연속적으로 생성
Combinder
- 파이프라인 모델
  - SimpleToD가 belief state, action을 생성
  - GPT-2가 response를 생성

평가지표
- belief state: joint goal accuracy, average goal accuracy
- actions: act-slot F1
- response: BLEU-4 scores
전반적으로 SimpleToDPlus가 TOD 성능을 유지함과 동시에 더 나은 답변 생성 능력을 보여줌
Combiner
- 답변 생성이 별도로 이루어지기 때문에 지식을 추가한(knowledge enrichment) 답변의 사실성(factfulness)에서 더 좋은 성능을 보임
- 하지만 pipeline의 성격 상 오류가 연속적으로 전파(error cascade)될 수 있기 때문에 전반적인 일관성(consistency)이 낮아짐