json 형식의 데이터를 입력으로 주었을 때 ValueError: expected sequence of length 1024 at dim 1 (got 5) 에러가 난 이유 분석 torch.tensor(\[ a,a,a,a,…, b,b,b,b,… ], device=””)

CUDA_VISIBLE_DEVICES=0 이 인식이 되지 않고, gpu 를 사용하지 않을 때

**The FLORES-101 Evaluation Benchmark for Low-Resource and Multilingual Machine Translation** 논문 리뷰

HuggingFace 모델의 parameter 를 확인하는 방법과 parameter freeze 하는 방법을 정리한다. MariaMT 모델을 사용해서 예시를 보여준다. AutoModelForSeq2SeqLM 로 불러오는 경우와 MariaMTModel 로 바로 불러오

fairseq-generate 를 사용할 때 아래와 같이 RuntimeError: Mask Type should be defined 에러가 떴다. 이 에러는 버전 문제로 생긴 에러이다. pytorch 버전을 1.12.1+cu116 으로 낮추고, ...

Hugging Face 가 무엇인지, 그리고 Hugging Face 를 사용해서 translation 하는 방법을 정리한다. Hugging Face? 허깅 페이스는 다양한 트랜스포머 모델 (transformer.models)과 학습 스크립트(transformer.T

Autoencoder 모델은 비지도 학습 방법의 네트워크이다. 입력에 대해 라벨이 없는 경우 사용하는 것인데, 입력과 출력이 같은 구조로 되어있다. Encoder-Decoder 구조로, encoder는 입력 데이터를 압축하고 decoder는 압축된 표현을 풀어서 출력을

Fine-tuning in NLP refers to the procedure of re-training a pre-trained language model using your own custom data. As a result of the fine-tuning proc

Machine translation (MT) 는 자동으로 어떤 언어로 된 텍스트를 다른 언어로 바꿔주는 것이다. 최근 몇년 간 주요한 패러다임을 지나고 있는 연구 분야이다. 본 논문에서는 word, sentence embedding으로 현대의 NMT 구조의 origin

Language Modeling 은 주어진 단어들이 있을 때 다음 단어의 확률 분포를 계산하는 것이다. P(x^(t+1) | x^(t), ..., x^(1)) 이때 x^(t+1) 은 vocaburary V 에 있는 어떤 단어든 될 수 있다. Language Model은

언어적 구조적으로 문장을 어떻게 parsing 할지 두가지 관점이 있다. Constituency parsing 과 Dependency parsing

Algorithm is unambigous specification of how to solve a class of problems procedure or rule for solving a problem, based on conducting a sequence of s

MT 과제 에러 관련 문제ko-en 데이터로는 train 이 잘 되었는데, de-ko 데이터로 하면 아래와 같은 에러가 자꾸 떴다. vocab size 와 toknizer 가 맞지 않을 때 나는 에러라고 하는데 출력을 해보면 둘 다 똑같이 나오는 것도 확인했다. 해결D

NLP 에서 word vector 를 어떻게 표현하고 처리할까

Decoding 은 주어진 input 문장에 대해 translation을 생성하는 과정이다. Training 과정에서 보통 한번에 한 단어씩 예측하게 된다. 모델의 확률 분포로 주어진 선택할 수 있는 단어가 많기 때문에 가능한 output sequence가 expone

Natural Language Generation은 단어들의 sequence 를 아웃풋으로 예측하는 task 이다. 일반적으로 generation model은 각각의 decoding time step 에서 전체 단어 사전에 대한 확률 분포를 예측한다. 따라서 실제로 단

This is a step of the Machine Translation assignment.

🤗Transformer repository에 있는 example 을 실행하려고 하던 중 생긴 오류 해결 방법을 정리한다.