# dialogue

mmodestaa

Prompting and Evaluating Large Language Models for Proactive Dialogues: Clarification, Target-guided, and Non-collaboration CoRR 2023 분야 및 배경지식 대화형 시스템의 선행성(=proactivity) 시스템이 대화의 목표를 달성하기 위해 대화를 생성 및 통제하거나 주도권을 잡는 것을 의미 대화를 위한 거대언어모델(Large Language Model; LLM) ChatGPT의 성공으로, 지시를 따르는(instruction-following) 형태로 만들어진 예시들이나 ChatGPT로부터 생성된 대화 데이터를 활용해 LLM을 파인튜닝(지도학습)함으로써 대화 시스템을 만드는 경우가 많아짐 e.g. Alpaca, Dolly, Vicuna, Baize 기존에는 사전학

mmodestaa

KETOD: Knowledge-Enriched Task-Oriented Dialogue NAACL 2022 분야 및 배경지식 Task-oriented Dialogue (TOD; 태스크 지향 대화) 시스템이 사용자의 의도나 목표를 수집해 특정한 태스크를 완수하고자 함 일반적으로 답변이 간결하고 정형화 대화 상태 추적(dialogue state tracking), 행동 예측, 답변 생성 등의 구성요소 필요 관련 데이터셋: DSTC challenge series, MultiWOZ, SGD Chit-chat (일상적 대화) 최근 지식에 기반한(knowledge-grounded) 일상적 대화 연구가 활발 외부의 지식을 이용해 환각(hallucination; 그럴듯한 거짓말)을 줄이고 대화를 풍성하게 하고자 함 관련 데이터셋:

ross1573

최근 활동하고 있는 프로젝트에서 Dialogue 파트가 나한테 주어졌다 사실 내가 먼저 만들고 기획자분께 양식을 넘겨드릴 수 있었지만, 사람이 게으른지라 안하고있다가 명세를 받았다 받은 요구 명세는 다음과 같았다 Xml 파일을 사용할 것 Block 단위로 나눠서 저장할 것 Node의 종류는 여러가지를 사용할 수 있을 것 위 요구명세를 가지고 어떻게 구현할까 고민하다가, 문뜩 Interpret 방식이 생각이났다 사실 이 정도면 switch 쓰는게 coding시간이나 runtime 시간이나 더 효율적이었을 것이다 하지만 재미있어보이길래 무작정 시작했다 Parsing 우선 뭐라도 실행하기 위해서는 Xml 파일을 Parsing해야할 것이다 Parsing을 직접 구현할수도 있겠지만, 이런 복잡한 시스템은 라이브러리를 쓰는게 훨씬 효율적이다 내가 열심히 구현해봤자 느리면 느렸지, 빠를일은 없다 그래서 C#에서 Xml 파일을 어떻게 Parsing하는지 검색해보았다

mmodestaa

Building a Role Specified Open-Domain Dialogue System Leveraging Large-Scale Language Models NAACL 2022 분야 및 배경지식 Synthetic Data Gegeration, Language Model, Dialogue System Sythetic Dialogue Generation 데이터 수집의 비용을 줄이기 위해, 실제와 유사한 가짜 데이터를 생성하여 이를 이용해 모델을 학습하는 방법이 Synthetic Data Generation 특정 태스크(예: 식당 예약)를 위한 대화 데이터 생성의 경우 대개 태스크의 스키마, 규칙, 템플릿 등을 정의해야 함 최근 사전학습된 언어모델(Language Model; LM)을 사용해 데이터를 생성하는 연구가 많이 진행되고 있음 Role in Dialogue

sujin_yun_

Abstract chit-chat model의 문제점 lack of specificity : 일관된 personality를 보여주지 않음 often not very captivating ⇒ chit-chat model에 profile information을 conditioning함으로써 해결 주어진 프로필 정보 조건에 맞는 (=condition on their given profile information) 이야기하고 있는 대상에 대한 정보를 포함하는 (=information about the person they are talking to) 위 두가지와 관련된 데이터를 수집하여 모델을 학습시킴으로써 다음 utterance 예측을 통해 측정되는 dialogue 생성 능력 향상을 이루고자 함. 그중에서도 2번의 경우 처음에는 알 수 없는 정보이기때문에, 모델은 상대가 개인적인 주제를 이야기 하도록 학습되고, 그 결과인 dialogue는 interlocu

hopark

imagefile => Texture Type = Sprite order in Layer : 화면에 보이는 순서 결정 대화 만들기

hsp

논문링크 요약 2020 ACL, Facebook ai 오픈도매인 챗봇에 이미지, 추론 능력도 포함시키는 멀티태스킹 러닝 본 논문에서는 대화 에이젼트가 personality와 empathy를 가지고 아래와 같은 능력이 있는지 평가하는 12가지 태스크를 포함하고 있는 데이터셋 소개, 학습, 평가 Think point 향후 챗봇 능력을 종합적으로 평가할 수 있는 데이터셋의 기준을 세움 챗봇이 가지고 있어야하는 능력들과 활용가능한 대표적인 데이터셋들을 정리해준 논문 향후 대화모델 학습할 때 참고할만한 테스트 결과들 Introduction 대화에이젼트가 이런 능력들을 한꺼번에 갖게하는 테스크는 없으나 별개의 테스크로는 존재함 여러 테스크들을 합쳐서 single challenge로 다양한 능력들을 갖게함 기존에는 일반 텍스트들로 미리 학습시키

hsp

전편 Dialogue Response Ranking Training with Large-Scale Human Feedback Data 논문요약 (1) 에 이어서 계속 포스팅합니다 :) The DialogRPT: Dialog Ranking Pretrained Transformers 각 샘플에 feedback 예측 점수를 매기는 대신 샘플쌍에 대해 더 적절한 응답을 분류하는 테스크(A Contrastive Learning approach)로 아래 규칙을 따른다. The model is trained to predict a higher score for the positive sample r+ (i.e. the response with

hsp

논문링크 Contributions 소셜미디어의 피드백 데이터를 사용해 large-scale의 feedback 예측 학습 데이터셋 구축 comment의 engagingness를 평가하기 위해 ranking problem을 response pair를 비교하는 방식으로 변경 133M pair of human data(reddit data)로 GPT-2 기반의 DialogRPT 모델을 학습 Introduction End-to-end open domain dialog 성능은 인간이 구별하기 힘들정도로 높아졌다. SOTA 모델들의 목표는 minimizing the perplexity of reference response for a given context 와 같은 컨셉으로 정리된다. 주어진 레퍼런스 응답의 perplexity를 최소화 그러나, 그보다

hsp

논문링크: https://arxiv.org/abs/2004.05816 Generative 방식에서 Persona Consistency를 높이는 방식에 대해 제안한 논문 기존 SOTA 방법은 페르소나 Contradictory 에 insensitive 하다는 것을 강조하며 이를 보안하는 방법을 제안함 왜 insensitive한가 분석해보니 Contradict @ 1 결과를 낳은 발화들은 SPICE metrics에는 낮은 점수를 갖지만 ROUGE에서는 높은 점수를 받았음. ![](https://images.velog.io/images/hsp/post/