# PLM

ohilikeit

We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent

1876060677

NLP과목을 수강하면서 내가 발표하게 된 논문이다. 구현까지 해야하지만 이번 포스팅에서는 이 논문에 대해 요약하면서 어떤 얘기를 하고 싶은지를 적어보려고한다. 해당 논문에 대해 발표하고 세미나를 진행하면서 공격적인 질문을 많이 받았다. 거기에 대해서 내가 명쾌하게 답변

ohilikeit

image전남대학교 인공감정지능 기초연구실 주최의 제 4회 한국인 감정인식 국제경진대회에 참여한 결과물이다.데이터셋은 드라마 '수상한 삼형제'의 1,513개 씬에서 12,289개 문장을 각각 dysphoria, euphoria, neutral 3 가지 감정 중 하나로

ohilikeit

다양한 자연어 task에서 성공을 거둔 거대 언어 모델.하지만 양적 추론(quantitative reasoning)이 필요한 task에서 고전하였다. ex) 수학, 과학, 공학 문제들…💡 Quantitative Reasoning 여러 방면에서 모델의 능력을 시험할

inrap8206

일렉트라 모델 사전학습 feat. RTX 3060 12Ghttps://sputnik-kr.tistory.com/269

dlwngud3028

헷갈리는 모델에 대해 정리...Challenge: BERT와 같은 Pre-training language represenation 모델은 일반적으로 모델의 파라미터 크기가 커지면 성능이 향상됨. 하지만 다음과 같은 문제 발생 1\. Memory Limitation:

jieun9851

개요 현재 대부분의 NLP task는 PLM (Pre-trained Language Model)을 통한 전이 학습이 대세로 자리잡았다. 하지만 긴 Pretraining을 수행 전 vocab을 만드는 건 정말 중요하다. 좋은 vocab을 만드는 것이 곧 토크나이징 퀄리

khhiq1000

이 페이퍼는 text-generation에 관한 내용을 pretrained-language model 중심으로 다룬 내용 - 여러가지 연구 흐름을 파악하기 용이함필자의 기존 지식과 논문의 내용을 기반해서 요약을 해봄서두1\. 텍스트 생성이란 데이터로부터 자연스러운 말을

cateto

임베딩에는 Corpus의 의미, 문법 정보가 함축되어있다.임베딩은 Vector이므로 연산이 가능하며, 단어/문장/문서 간의 유사도를 측정할 수 있다.전이학습(Transfer Learning)을 통해 Fine-tuning하여 과제에 맞게 업데이트. 효과적인 이유가 제로베