# NLP
Faiss를 활용한 고차원 벡터 유사도 구하기
https://github.com/facebookresearch/faissFaiss는 Facebook에서 개발 및 배포한 밀집 벡터의 유사도 측정과 클러스터링에 효율적인 라이브러리이다. RAM에 구애받지 않고 어떤 크기의 벡터이건 탐색 및 측정을 지원한다. 평
[OOV 어텐션 메커니즘] Few-Shot Representation Learning for Out-Of-Vocabulary Words
본 연구에서는 OOV 임베딩의 학습을 퓨샷(few-shot) 회귀 문제로 정식화하면서, 적은 샘플로도 단어의 의미를 유추해내는 구조를 제안한다. 어텐션(attention) 기반 계층적 문맥 인코더 (HiCE)를 이용해 OOV 단어의 문맥과 형태 정보를 모두 활용한다.
[OOV 개요] Deep Learning Models for Representing Out-of-Vocabulary Words
딥러닝(DL)을 이용하여 OOV를 처리하는 방법들을 소개하고, 다양한 NLP 과제에서의 성능을 비교한다.
[CH01] 05. 판다스 프로파일링
머신 러닝 결과를 얻기 위해서는 데이터의 성격을 파악하는 과정 데이터 내 값의 분포, 변수 간의 관계, Null 값과 같은 결측값 존재 유무를 파악하는 과정을 EDA(Exploratory Data Analysis, 탐색적 데이터 분석)이라고 함. 방대한 양의 데이터를
[논문리뷰 | NLP] Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks (DAPT, TAPT)
대회와 프로젝트를 진행하며 정말 많이 들었던 DAPT와 TAPT. 2020년에 ACL에서 최우수 논문으로 선정되기도 했으나 제대로 읽어본 적이 없어 아쉬웠다. DAPT와 TAPT를 진행하면 성능이 상승된다는 얘기도 들었으나 정확한 구현방식을 알지못해 사용해보지 못했던
[CH01] 04. 판다스, 넘파이, 맷플롭립 이해하기
Padas는 다음 세 가지의 데이터 구조를 사용함. SeriesDataFramePanel시리즈 클래스는 1차원 배열의 값(values)와 각 값에 대응되는 인덱스(index)를 부여할 수 있는 구조를 가짐.2차원 리스트를 매개변수로 전달함. 2차원이므로 행방향 인덱스(
[논문 리뷰] Improving Language Understanding by Generative Pre-training
자연어 이해는 다양한 task를 포함한다.라벨링되지 않은 데이터는 충분한 반면, 특정 task에 맞게 라벨링된 데이터는 매우 부족하다.그래서 이를 모델이 충분히 성능이 나오도록 학습하는 것이 어렵다.라벨링 되지 않은 corpus에 대한 언어 모델의 생성적(generat
Continual Learning Dialogue System
기존의 머신러닝은 격리된(isolated) 단일 작업 학습의 방식이다. 하지만 이 방법은 적용시에 새롭거나 예상치 못한 것이 없고, 고립된 학습이다보니 지식 축적이나 이전이 불가능하다. 또한 배포 후에 모델이 수정되지 않아 학습이나 적응을 하지 못한다. 따라서 모델을
Paper Review #1 "Lifelong and Continual Learning Dialogue Systems: Learning during Conversation"
논문 리뷰 - Continual learning
How to implement Dynamic Masking(feat. RoBERTa)
RoBERTa 논문에서는 기존에 MLM과는 다른 masking인 dynamic masking을 사용한다고 말한다. 기존 MLM은 계속 동일한 단어를 epoch마다 예측하기에 의미 없는 단어를 계속 masking하고 있을 수 있으며 overfitting이 발생할 수도 있
[NLP | 논문리뷰] STS에 대한 모델과 라벨의 Pearson Correlation은 효과적이지 못한가? (Task-Oriented Intrinsic Evaluation of Semantic Textual Similarity)
SBERT 논문을 읽던 중에 어떤 모델이 가장 성능이 높은지를 분석하기 위해 STS Dataset의 label과 그것에 대해 모델이 내보낸 값에 대한 상관관계로 Pearson 상관관계가 아닌 Spearman 상관계수를 사용했다고 말한다. 그러면서 이유를 저자의 다른 논
cross entropy
이번 포스트에서는 개인적으로 딥러닝에서 가장 중요하다 생각하는 loss function, optimizer중 loss function의 cross entropy를 설명하려합니다. cross entropy를 알기 전 먼저 정보이론에 대해 알고 가겟습니다. 컴퓨터는 전기
[논문 리뷰] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT는 모든 계층에서 왼쪽, 오른쪽 문맥의 unlabeled text로 부터 깊은 양방향 표현법을 사전 학습하기 위해 설계되었다.사전 학습된 BERT 모델은 추가적인 1개의 output layer만 추가하여 fine-tuning되고 넓은 범위의 task에서 SOTA
[논문 리뷰] Improving Language Understanding by Generative Pre-Training
자연어 이해는 넓은 범위의 다양한 task들을 보장했다.textual entailment, QA, 의미 유사도 평가, 문서 분류비록 라벨링 되지 않은 copus들은 많지만 라벨링된 특정 task의 데이터는 충분히 모델의 성능을 높이기에 부족하다.라벨링되지 않은 다양한