# roberta

M1 Part7 - "Hugging Face Transformers Installation on M1"
: M1에서 Pytorch GPU 가능 버전을 설치해봤다면, HuggingFace의 transformers를 설치해보고 싶은 마음이 들 것이다. 그런데 M1에서는 이 길이 참 쉽지 않다. 그래서 하나하나 보여주겠다. 00부터 순서대로 잘 따라와주기를 바란다. : co

[논문 리뷰] Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks
SSL(Self-Supervised Learning) - NLP 이해하기 세번째!

How to implement Dynamic Masking(feat. RoBERTa)
RoBERTa 논문에서는 기존에 MLM과는 다른 masking인 dynamic masking을 사용한다고 말한다. 기존 MLM은 계속 동일한 단어를 epoch마다 예측하기에 의미 없는 단어를 계속 masking하고 있을 수 있으며 overfitting이 발생할 수도 있

[NLP | 논문리뷰] RoBERTa: A Robustly Optimized BERT Pretraining Approach 논문 리뷰
대회와 프로젝트를 진행하며 가장 많이 사용했던 RoBERTa 모델. KLUE에서 Huggingface에 공개하기도 했고 한국어로 pre-trained가 매우 잘 되어 있어 여러 task에 fine-tuning하기 적합했다.하지만 BERT 기반에 학습법만 다르게 했던 모
[논문리뷰] RoBERTa : A Robustly Optimized BERT Pretraining Approach
Abstract BERT는 상당히 undertrained 됐다. RoBERTa로 GLUE, RACE, SQuAD nlp task에서 SOTA를 달성하였다. 이 결과는 설계에 중요성을 강조했다. Introduction 기존의 버트에서 수정한 사항 training th

RoBERTa 논문 리뷰
RoBERTa: A Robustly Optimized BERT Pretraining Approach(2019) 논문을 읽고 내용 요약 및 정리

[NLP] PyTorch Lightning 라이브러리를 이용한 Binary-Classification Fine-tuning.
최근 NLP에선 BERT계열 모델을 활용한 Trnasfer-Learning이 굉장히 🔥hot🔥하다. 사실 Transfer-Learning이 유명해지게된 것은 Computer Vision 분야인데 BERT가 나오면서 NLP 분야에서도 Transfer-Learning이

[NLP] Natural Language Understanding
문제 정의 \- task가 해결하고자 하는 문제가 무엇인가? quora에 올라온 질문 페어가 동일한 의미를 갖는지 확인데이터셋 소개(대표적인 데이터셋 1개) \- task를 해결하기 위해 사용할 수 있는데 데이터셋이 무엇인가? IMDb \- 데이터 구조는