# roberta

6개의 포스트
post-thumbnail

How to implement Dynamic Masking(feat. RoBERTa)

RoBERTa 논문에서는 기존에 MLM과는 다른 masking인 dynamic masking을 사용한다고 말한다. 기존 MLM은 계속 동일한 단어를 epoch마다 예측하기에 의미 없는 단어를 계속 masking하고 있을 수 있으며 overfitting이 발생할 수도 있

2022년 6월 28일
·
0개의 댓글
·
post-thumbnail

[NLP | 논문리뷰] RoBERTa: A Robustly Optimized BERT Pretraining Approach 논문 리뷰

대회와 프로젝트를 진행하며 가장 많이 사용했던 RoBERTa 모델. KLUE에서 Huggingface에 공개하기도 했고 한국어로 pre-trained가 매우 잘 되어 있어 여러 task에 fine-tuning하기 적합했다.하지만 BERT 기반에 학습법만 다르게 했던 모

2022년 6월 22일
·
0개의 댓글
·

[논문리뷰] RoBERTa : A Robustly Optimized BERT Pretraining Approach

Abstract BERT는 상당히 undertrained 됐다. RoBERTa로 GLUE, RACE, SQuAD nlp task에서 SOTA를 달성하였다. 이 결과는 설계에 중요성을 강조했다. Introduction 기존의 버트에서 수정한 사항 training th

2022년 5월 13일
·
0개의 댓글
·
post-thumbnail

RoBERTa 논문 리뷰

RoBERTa: A Robustly Optimized BERT Pretraining Approach(2019) 논문을 읽고 내용 요약 및 정리

2022년 4월 6일
·
0개의 댓글
·
post-thumbnail

[NLP] PyTorch Lightning 라이브러리를 이용한 Binary-Classification Fine-tuning.

최근 NLP에선 BERT계열 모델을 활용한 Trnasfer-Learning이 굉장히 🔥hot🔥하다. 사실 Transfer-Learning이 유명해지게된 것은 Computer Vision 분야인데 BERT가 나오면서 NLP 분야에서도 Transfer-Learning이

2022년 3월 2일
·
2개의 댓글
·
post-thumbnail

[NLP] Natural Language Understanding

문제 정의 \- task가 해결하고자 하는 문제가 무엇인가? quora에 올라온 질문 페어가 동일한 의미를 갖는지 확인데이터셋 소개(대표적인 데이터셋 1개) \- task를 해결하기 위해 사용할 수 있는데 데이터셋이 무엇인가? IMDb \- 데이터 구조는

2022년 2월 22일
·
4개의 댓글
·