# T5
T5는 max_token_length에 민감한가?
보통 pretrain된 모델은 pretrain 시 지정한 input의 maxtokenlength에 대해 매우 민감하다. 예를들어, 1024가 maxtoken_length로 pretrain된 모델이 있다고 하면 그 이상의 token길이를 가지는 input을 입력할 경우
KLUE-YNAT 대회 관련 모델 제작 및 배포
KLUE-YNAT의 데이터는 연합뉴스 기사 제목으로 구성된 데이터이다.부스트캠프 Data-Centric에서는 데이터의 일부가 P2G데이터로 구성되있으며 임의로 label을 다르게 추가하였다.이를 원상으로 복구하기 위한 모델을 개발하고 오픈소스로 배포하였다. 또한 데이터
[NLP] 한국어 구어체(대화체) 맞춤법 교정 모델 (Korean typos corrector) : ET5 Text2Text Generation
맞춤법 교정기에 대한 개발은 오래전부터 계속 되었다, 현재 hanspell, 이나 spacing 같은 맞춤법 교정 오픈소스들이 많이 공개되어있지만, 메신저 대화 문장이 대부분인 대화체 텍스트에서 오타로 인해 발생하는 맞춤법 오류는 잘 잡아주지 못했다."돼다, 되다"와
[NLP]. 한국어 T5 모델 문장 임베딩(sentence embedding)으로 사용하기 : ET5(etri)
T5 모델은 현재 유행중인 LLM에 비해 가벼운 PLM모델이지만그 중에서는 최고의 성능을 보이는 모델이다. (작은 놈 중에 제일 좋은 놈??)T5에 대한 내용은 너무 많고 잘 설명해준 글이 많아 나는 실제 사용기에 더 맞춰서 글을 작성했다.자연어처리 세미나(LangCo
T5(Text-to-Text Transfer Transformer) 논문 리뷰
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer(2019) 읽어보기
[NLP #1] mT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs (EMNLP, 2021)
1 Introduction & Summary Challenge seq2seq 모델인 mT5는 cross-lingual task에서 괄목할만한 성능 보여줌 MT5가 이미 성능이 좋은데, 어떻게 하면 tranlation data 사용해서 MT5를 뛰어넘을 수 있을까
[NLP] Natural Language Understanding
문제 정의 \- task가 해결하고자 하는 문제가 무엇인가? quora에 올라온 질문 페어가 동일한 의미를 갖는지 확인데이터셋 소개(대표적인 데이터셋 1개) \- task를 해결하기 위해 사용할 수 있는데 데이터셋이 무엇인가? IMDb \- 데이터 구조는
[NLP] Natural Language Inference
인공지능 분야 공부를 하며 NLP에 대한 관심이 생겨 원티드 프리온보딩 AI/ML 에 참가하게 되었습니다. Natural Language Inference 문제 정의 task가 해결하고자 하는 문제가 무엇인가? hypoth