Natural Language Generation은 단어들의 sequence 를 아웃풋으로 예측하는 task 이다. 일반적으로 generation model은 각각의 decoding time step 에서 전체 단어 사전에 대한 확률 분포를 예측한다. 따라서 실제로 단
Hugging Face 가 무엇인지, 그리고 Hugging Face 를 사용해서 translation 하는 방법을 정리한다. Hugging Face? 허깅 페이스는 다양한 트랜스포머 모델 (transformer.models)과 학습 스크립트(transformer.T
fairseq 는 Meta (Facebook) 에서 공개한 오픈 소스 sequence modeling toolkit 으로 번역, 요약, 생성 등의 Language modeling 을 제공한다. fairseq 를 사용해서 번역하는 예제를 정리한다. dataset 을 pr