**The FLORES-101 Evaluation Benchmark for Low-Resource and Multilingual Machine Translation** 논문 리뷰

HuggingFace 모델의 parameter 를 확인하는 방법과 parameter freeze 하는 방법을 정리한다. MariaMT 모델을 사용해서 예시를 보여준다. AutoModelForSeq2SeqLM 로 불러오는 경우와 MariaMTModel 로 바로 불러오

Hugging Face 가 무엇인지, 그리고 Hugging Face 를 사용해서 translation 하는 방법을 정리한다. Hugging Face? 허깅 페이스는 다양한 트랜스포머 모델 (transformer.models)과 학습 스크립트(transformer.T

Fine-tuning in NLP refers to the procedure of re-training a pre-trained language model using your own custom data. As a result of the fine-tuning proc

Machine translation (MT) 는 자동으로 어떤 언어로 된 텍스트를 다른 언어로 바꿔주는 것이다. 최근 몇년 간 주요한 패러다임을 지나고 있는 연구 분야이다. 본 논문에서는 word, sentence embedding으로 현대의 NMT 구조의 origin

Language Modeling 은 주어진 단어들이 있을 때 다음 단어의 확률 분포를 계산하는 것이다. P(x^(t+1) | x^(t), ..., x^(1)) 이때 x^(t+1) 은 vocaburary V 에 있는 어떤 단어든 될 수 있다. Language Model은

언어적 구조적으로 문장을 어떻게 parsing 할지 두가지 관점이 있다. Constituency parsing 과 Dependency parsing

NLP 에서 word vector 를 어떻게 표현하고 처리할까

Decoding 은 주어진 input 문장에 대해 translation을 생성하는 과정이다. Training 과정에서 보통 한번에 한 단어씩 예측하게 된다. 모델의 확률 분포로 주어진 선택할 수 있는 단어가 많기 때문에 가능한 output sequence가 expone

Natural Language Generation은 단어들의 sequence 를 아웃풋으로 예측하는 task 이다. 일반적으로 generation model은 각각의 decoding time step 에서 전체 단어 사전에 대한 확률 분포를 예측한다. 따라서 실제로 단