# PLM

4개의 포스트
post-thumbnail

PLM (Pretraining Language Model)

헷갈리는 모델에 대해 정리...Challenge: BERT와 같은 Pre-training language represenation 모델은 일반적으로 모델의 파라미터 크기가 커지면 성능이 향상됨. 하지만 다음과 같은 문제 발생 1\. Memory Limitation:

2022년 7월 7일
·
0개의 댓글
·

Tokenizer 제작하기

개요 현재 대부분의 NLP task는 PLM (Pre-trained Language Model)을 통한 전이 학습이 대세로 자리잡았다. 하지만 긴 Pretraining을 수행 전 vocab을 만드는 건 정말 중요하다. 좋은 vocab을 만드는 것이 곧 토크나이징 퀄리

2022년 2월 14일
·
0개의 댓글
·
post-thumbnail

Review(리뷰) - A survey of PLM based Text Generation

이 페이퍼는 text-generation에 관한 내용을 pretrained-language model 중심으로 다룬 내용 - 여러가지 연구 흐름을 파악하기 용이함필자의 기존 지식과 논문의 내용을 기반해서 요약을 해봄서두1\. 텍스트 생성이란 데이터로부터 자연스러운 말을

2022년 1월 21일
·
0개의 댓글
·
post-thumbnail

Embedding이 중요한 이유

임베딩에는 Corpus의 의미, 문법 정보가 함축되어있다.임베딩은 Vector이므로 연산이 가능하며, 단어/문장/문서 간의 유사도를 측정할 수 있다.전이학습(Transfer Learning)을 통해 Fine-tuning하여 과제에 맞게 업데이트. 효과적인 이유가 제로베

2021년 11월 17일
·
0개의 댓글
·