# Conversational AI

2rhgywls

Zellers, Rowan, et al. "Merlot reserve: Neural script knowledge through vision and language and sound." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022. MERLOT RESERVE : 멀티모달 환경으로부터의 새로운 학습 목표를 통해 비디오를 표현하는 모델(Multimodal Event Representation Learning Over Time, with RE-entrant SupERVision of Events) Overview 비디오가 주어지면 텍스트 조각과 음성을 Mask token으로 재배치하고, 모델은 정확한 Masked out snippet을 고름으로써 학습 각 modality가 서로를 교육하는 joint representation 학습 modali

dangdang2222

https://github.com/thu-coai/ConvLab-2 튜토리얼 보면서 함수와 코드 따라가기 sys_nlu = BERTNLU() convlab2/nlu/jointBERT/multiwoz/nlu.py main에서 이렇게 부름 init에서 Dataloader함수 부름 아마 여기서 multiwoz 데이터를 넣어주는 듯. intent_vocab? tag_vocab? (두개 개수가 다름) 그 다음 JointBERT 함수 호출(forward로 들어가는 듯) convlab2/nlu/jointBERT/jointBERT.py nn.Module을 상속 self.bert는 init에서 요렇게 부름 즉 사전훈련된 bert 모델을 가져온듯 보면 처음에는 wordseqtensor를 넣고 *wordseqtensor는 tokenizer 결과임 여기서 outputs0을 sequence_output으로 outputs[1]을 pooled_out

dangdang2222

NLU 다른 agent의 intent를 parse utterance를 input으로 corresponding dialogue acts를 outputs로 모델은 3개 : semantic tuple classifier, MILU, BERTNLU BERTNLU는 intent 분류와 슬롯 태깅을 위해 mlp 2개를 상단에 배치, fine tuning은 각각 특정 task에 대해서 개별적으로. predict가 가장 중요함. input : utterance(str) context(list of str) output : dialog act ⇒ 형식은 데이터 셋에 의존함. (ex: MultiWOZ라면 `[["Inform", "Restaurant", "Food", "brazi

dangdang2222

Deeper Conversational AI Reinforcement Learning / Self-Chat ⇒ Human In the Loop hard to learn directly from human interaction learning a reward signal directly from human responses and transforming into meaningful update ⇒ but only toy datasets Few-Shot / Zero-Shot Learning ⇒ Better Strategy collecting dataets is hard less data-intensive is crucial how do we learn to converse in ne

dangdang2222

Deeper Conversational AI Part 2 : Generation-Based Deep Conversational AI Vanilla Seq2Seq ConvAI Choose the data : Human to human Conversations Choose the model : Large pre-trained Train the model with data : Supervised learning Evaluate : Automatic or Human Evaluation two generative models for vanilla seq2seq system Vanilla Seq2Seqq conversational model(encoder-decoder) Causal Decod

dangdang2222

NeurlPS 2020 - Deeper conversational AI Part 1 : Conversational AI Overview conversational system의 기능 task oriented dialogues information consumption(정보 소비) task completion(임무 수행) decision support(open edded, none specific answer) social chit-chat turing test(just chat, no goals) Modularized Task-Oriented Dialogue Systems help acheive pre-defined goals/tasks with least

cardy20

Kurt Shuster†, Jing Xu†, Mojtaba Komeili†, Da Ju†, Eric Michael Smith, Stephen Roller,Megan Ung, Moya Chen, Kushal Arora+, Joshua Lane, Morteza Behrooz, William Ngan,Spencer Poff, Naman Goyal, Arthur Szlam, Y-Lan Boureau, Melanie Kambadur, Jason Weston > Meta AI + Mila / McGill University ![](https://s3.us-west-2.amazonaws.com/secure.notion-static.com/2b0025e6-223d-4d99-a630-06f86ae2019d/Untitled.png?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Content-Sha256=UNSIGNED-PAYLOAD&X-Amz-Credential=AK

dangdang2222

4. Task-oriented Dialogue Systems Overview Slot-filling Dialogues 작업이 성공적으로 완료되기 전에 미리 정의된 슬롯 집합에 대한 값을 채우는 것과 관련된 단순하지만 중요한 dialogue class에 중점을 두자. task를 수행하기 위해 시스템은 user와 대화하며 필요한 정보를 수집해야한다. slot-filling 대화는 여러 도메인(영화, 레스토랑, 항공권 예약 등)에서 적용되며, 각 도메인에 대해 슬롯 set는 도메인 전문가에 의해 정의되고 어플리케이션에 따라 다르다. 핸드폰 번호처럼 슬롯의 값이 대화를 제한하는 경우 슬롯을 informable라고 하며, 티켓 가격처럼 화자가 값을 요청할 수 있는 경우 requestable이라고 부른다. 영화 이름처럼 슬롯은 informable과 requestable 둘 다일 수도 있다. Dial

dangdang2222

1. Introduction 대화형 AI는 자연스러운 사용자 인터페이스의 기본이다. 자연어 처리(NLP), 정보 검색(IR) 및 기계 학습(ML) 커뮤니티에서 많은 연구자를 끌어들이고 있는 빠르게 성장하는 분야이다. >- dialogue tasks를 소개하고, open-domain dialogue가 최적의 decision making process로 공식화 되었다고 통일된 관점을 제공 2장에서는 기본적인 수학적 도구와 기계 학습 개념을 소개하고 신경 대화 에이전트 개발에 기본이 되는 딥 러닝 및 강화 학습 기술의 최근 진행 상황을 검토 3장에서는 knowledge-base QA와 machine reading comprehension(MRC)를 위한 신경 모델에 중점을 둔 QA agent에 대해 설명 4장에서는 eep reinfocement learning을 적용한 dialogue management에 초점을 두어 task-oriented dialogue agents

jeonggwanlee

작성일 : 2021.01.03 작성자 : 이정관 (leejk526@gmail.com) 참고 영상 오픈도메인 챗봇 ‘루다’ 육아일기: 탄생부터 클로즈베타까지의 기록 💡 본 문서에 나오는 슬라이드는 위 영상에서 캡쳐한 것이므로, 저작권은 스캐터랩(scatterlab)에 있음을 명시합니다. 요약 오픈도메인 챗봇의 어려운 점 (One-to-many, 무한한 컨택스트) 에 대해 언급을 하였고, 스캐터랩의 경우, 100억 카카오 메세지를 보유하고 있어, 한국어 실제 대화 데이터셋에서 확실히 강점을 가지고 있다. 루다 알파 모델의 경우 XiaoIce 프레임워크를 따르고 있으며 NLU, Retriever, Ranker로 구성되어 있으며, 모델이 꽤나 복잡한 편이다. 평가는 SSA(Sensibleness & Specificity Average; Google Meena)로 평가한다

gabie0208

이번 학기 [인공지능(딥러닝)개론] 수업을 들으면서 SKT AI 커리큘럼도 수강하게 되었다 계정 생성 방법은 조교님께 사용할 메일과 수강 희망하는 분야를 제출하면 완료! SKT AI 커리큘럼은 다음과 같다 ![](https://images.velog.io/images/gabi