Building a Role Specified Open-Domain Dialogue System Leveraging Large-Scale Language Models

mmodestaa·2023년 2월 7일

Sythetic Dialogue Generation
- 데이터 수집의 비용을 줄이기 위해, 실제와 유사한 가짜 데이터를 생성하여 이를 이용해 모델을 학습하는 방법이 Synthetic Data Generation
- 특정 태스크(예: 식당 예약)를 위한 대화 데이터 생성의 경우 대개 태스크의 스키마, 규칙, 템플릿 등을 정의해야 함
- 최근 사전학습된 언어모델(Language Model; LM)을 사용해 데이터를 생성하는 연구가 많이 진행되고 있음
Role in Dialogue
- 대화의 자연스러움을 위해서는 대화 시스템, 챗봇에 역할(Role)을 부여하는 것이 필요
- 주어진 페르소나/정체성을 유지함과 동시에 시스템의 정책 또한 만족해야 함

1) 인풋 생성
- 역할 설명서(role specification), 몇몇 대화 예시를 이용해 one-shot in-context learning을 위한 인풋 프롬프트 생성
2) 데이터 생성 및 필터링
- LM이 주어진 인풋을 바탕으로 데이터 생성
- 해당 데이터에 대해 사람이 직접 필터링 및 annotation 진행 (어디에서 처음 out-of-bound 발생했는지)
3) 모델 학습
- out-of-bounds detection(범위를 넘는 데이터 감지)
  - 데이터셋의 긍정, 부정 예시를 구분할 수 있는 분류기 학습
- response selection(답변 선택)
  - retriever(poly-encode)가 top-k의 가능한 답변들을 찾아내고, reranker(cross-encoder)가 답변들의 순위를 다시 매김
  - thresholding을 이용해 답변할 수 없는 문맥을 파악해 최종 결정
- response generation(답변 생성)
  - 긍정 데이터셋에 대해서는 maximum likelihood estimation(MLE)
  - 부정 데이터셋에 대해서는 unlikelihood(UL) 학습을 통해 답변 생성 학습
- retrieve-fail-generate(답변 선택, 실패 시 답변 생성) 파이프라인
  - 답변 선택 모델이 적절한 답변을 선택
  - 만약 이 과정을 실패하면 답변 생성 모델이 주어진 문맥에 맞는 답변을 생성해 리턴 (답변 선택 모델이 대부분의 답변을 담당)
4) 평가 및 피드백
- 사람과 봇 사이의 대화 추가 수집해 데이터 증가 및 out-of-bounds 데이터 수정 (피드백 제공)

데이터셋
- 한국어 데이터셋, 89개 주제에 대한 250개 대화 예시 활용
평가기준
- 답변 선택에 대해서는 Hits@1/K 활용
- 답변 생성에 대해서는 perplexity 활용
- 답변의 품질에 대해서는 SSA 사용

특정한 태스크가 아닌 열린 주제의 대화를 자연스럽게 수행하면서도, 역할 정체성(role specification; persona, style...)을 유지하는 데이터 생성 프레임워크 제안
큰 규모의 언어모델(Language Model; LM)의 in-context learning 활용 방식을 제시
한국어 RSODD 데이터셋 공개

adversarial attack(적대적인 공격) 미고려
- 챗봇 사용자가 일반적인 질의를 진행한다고 전제하고 평가
- 사용자가 이상한 질문을 하는 등의 행동을 했을 때 성능 보장 어려움
human filtering efficiency
- 사람이 필터링하는 과정은 사람이 직접 데이터셋을 만드는 것보다 약 13배 효율적이나, 더 효율적으로 해당 과정을 수행할 수 있는 여지 존재
ethical considerations
- PLM은 사회적 편견, 해로운 컨텐츠 등을 포함할 수 있음 (RSODD 데이터셋 생성에 있어서는 해당 데이터들을 제외하고자 노력)
- 챗봇 시스템을 개발할 때에는 사용자의 현실도피 이용가능성/범죄 이용 가능성/개인, 민감정보 문제 등에 안전하고 도덕적으로 대응해야 함
  - 개인적으로 최근 AI 분야에서 이런 fairness, ethical considerations에 대한 논의가 많아지는 추세라 관심이 많은데, 해당 부분을 상술하는데 약 1page 가량을 사용하는 것이 흥미로웠음