2021 SKT AI
1.#실무형 AI교육 ✨SKT AI 커리큘럼 소개✨
이번 학기 인공지능(딥러닝)개론 수업을 들으면서 SKT AI 커리큘럼도 수강하게 되었다계정 생성 방법은 조교님께 사용할 메일과 수강 희망하는 분야를 제출하면 완료!SKT AI 커리큘럼은 다음과 같다나는 아무래도 자연어 처리 연구를 하고 있다보니 자연어 이해, conve
2.NLU 기술이란? 자연어 특징
사람의 언어를 입력으로 실제 의도를 분석하는 기술과 이러한 기술의 상용화 과정을 이해해보자.자연어 이해 기술이란? 기계가 사람의 말을 이해할 수 있도록 하는 기술자연어 이해 기술의 목적: 가장 인간 같은 기계Turing Test에 대한 비판자연어 이해 기술의 목적: N
3.NLU 의미 이해 방법 Semantics
Distributional Semantics: Semantically similar words occur in similar context \-> Semantic Role Labeling모든 상황을 다룰 필요는 없음Language as Programs
4.NLU 기술 상용화 이해
자연어 이해(NLU, Natural Language Understanding)는 사용자의 의도가 무엇인지 기계가 알 수 있도록 하는 것개체명 인식(Named Entity Recognition)Sequence Labeling어떻게 문장의 의도(목적)을 알아낼까?1\. R
5.NLU 상용화 주요 이슈
주요 이슈1\. NOISE : 사용자도 음성도 친절하지 않다2\. AMBIGUITY : 중의적 표현이 다수 존재3\. DATA : 서비스 대상 발화와 사용자 발화 간 불일치4\. REJECTION 모르는 것을 모른다고 말하는 것이 가장 어려움
6.NLU 서비스 고도화 사례
질의 유형과 예서비스 대상 범위 정의서비스 대상 자연어 질의 이해코퍼스 구축Formal query template과 이에 대응하는 문장에 대한 paraphrasing시스템 n-best 출력으로부터 정답 분석 결과를 선택/보강이미 구축한 문장 코퍼스로부터 문장 템플릿을
7.Pre-trained Language Modeling
pre-trained LM can be fined to various NLP tasksNERSentiment AnalysisQADialogue Systems
8.Language Model : ELMo GPT
LM pre-training using deep bidirectional LSTM(2 layers)Contextualized word embedding by linear combinatoin of hidden statesPretrain large 12 layer lef
9.Language Model: BERT
Pre-trained language representation for language understandingLarge scale architectureBASE: L=12, A=12, ~110MLARGE: L=24, A=16, ~340M
10.Language Model: Transformer XL, XLNet
Independent segment assumptionLimited history at initial word tokens
11.Language Model: GPT-2
GPT-2 GPT-2: Generalized Multi-task Learner 
Additional optimization of Bertlarge batch sizeno more 'next sentence prediction' loss10x more data (160GB w/common crawl)more compute: 1,000 v100 GPU