Pytorch로 BERT 구현해보기

BERT(Bidirectional Encoder Representation from Transformer)는 구글에서 발표한 임베딩 모델이다. 질문에 대한 대답, 텍스트 생성, 문장 분류 등과 같은 태스크에서 가장 좋은 성능을 도출해 자연어 처리 분야에 크게 기여해왔다

이전글에서는 BERT의 이론을 정리해보았다.이번글에서는 BERT 학습 이전에 토크나이즈를 정리할 예정이다.