PAPER

1.Roberta, Albert, ELECTRA 정리

post-thumbnail

논문 ; RoBERTa: A Robustly Optimized BERT Pretraining Approachbert문제 제기2019 bert가 상당히 undertrained된 것을 발견 → model 성능을 높이기 위한 parameter tuning.더 큰 batch와

2022년 12월 29일