CS224n
1.[CS224n #1] GloVe: Global Vectors for Word Representation (EMNLP, 2014)
BackgroundWord2vec의 한계 : vector space representation learning의 발달에도 아직 regularities가 아직 부족 (Regularity is the quality of being stable and predictable.
2.[CS224n #2] BPE: Neural machine translation of rare words with subword units (ACL, 2016)
Task : NMT에서의 Open-vocabulary problem Approach : Byte pair encoding 기법을 이용한 Subword unitsResults : rare & OOV에서 성능 좋다.review 전 나의 의문!Fast text의 subwor
3.[CS224n #3] Topic Modeling - LSA/LDA/ BERTopic
0. Summary Topic modeling : corpus 집합에서 통계적 분석 방식을 사용해서 문서의 context를 담고 있는 유의미한 word를 뽑아내고 representation 만들기. DTM : Document-Term Matrix / 문서 단어 행렬 키워드로 보는 Method LSA : #유사도, #토픽 모델링 아이디어 시초 #SVD ...
4.[CS224n #4] Sequence to Sequence Learning with Neural Networks (NeurIPS, 2014)
0. Summary Background : DNN으로 아직 sequences to sequence 다룬 적 없음 Goal : end-to-end approach to sequence learning Method : LSTM encoder-decoder Experimen
5.[CS224n #5] Dense Passage Retrieval for Open-Domain Question Answering (EMNLP, 2020)
background : QA system은 크게 (1) retrieval (2) reading comprehension 으로 이루어져 있음. 이 논문은 (1) retrieval에 집중!기존 open-domain question answering은 sparse vecto
6.[CS224 #6] ERNIE: Enhanced Language Representation with Informative Entities (ACL, 2019)
Background : BERT 같은 대규모 Language model (LM)이 NLP task에 좋은 성능을 보이고 있다. 하지만 knowledge graph (KG)를 통합하려는 시도는 잘 없었다. KG는 풍부한 structured knwledge를 제공해 lan
7.[CS 224n #7] Locating and Editing Factual Associations in GPT (NeurIPS, 2022)
Summary Goal: GPT 안에서 factual association의 evidence를 찾아라! Approach : Where : 어디에서 중요한 역할을 하는지 찾기 위해 CAUSAL EFFECT ANalysis 적용 How : 어떻게 fact를 Storage 하는지 찾기위해 개발한 ROME (Rank-One Model Editing) 이용해...