# koelectra

2개의 포스트

BERT에 CRF, BiLSTM, BiGRU 결합하는 방법

Python 3.8.3transformers 4.16.2torchcrf 0.0.1BiLSTM이나 BiGRU를 사용할때는 pack_padded_sequence와 pad_packed_sequence 함수를 사용한다. 나는 이부분에서 에러가 발생했다. 여기서 주의해야할 몇가

2022년 2월 14일
·
0개의 댓글
·

Tokenizer 제작하기

개요 현재 대부분의 NLP task는 PLM (Pre-trained Language Model)을 통한 전이 학습이 대세로 자리잡았다. 하지만 긴 Pretraining을 수행 전 vocab을 만드는 건 정말 중요하다. 좋은 vocab을 만드는 것이 곧 토크나이징 퀄리

2022년 2월 14일
·
0개의 댓글
·