# finetuning

5개의 포스트
post-thumbnail

[Basic NLP] sentence-transformers 라이브러리를 활용한 SBERT 학습 방법

Intro 이전 포스트에서 소개한 SentenceBERT를 어떻게 학습하는지 논문 및 sentence-transformers 공식 깃헙을 기준으로 몇 가지 방법을 알아보고 어떤 방법이 가장 좋은 성능을 내었느지 소개하고자 한다. 1. SBERT 학습 데이터 SBERT

2022년 2월 28일
·
0개의 댓글
·

HiddenCut- Simple Data Augmentation for Natural Language Understanding with Better Generalization

본 포스트는 pre-trained language model을 task에 fine-tuning 수행 시, drop out을 기반으로 data augmentation을 하는 방법인 HiddenCut을 다룹니다.NLP에서 대용량의 데이터를 이용하여 large-scale의

2021년 11월 29일
·
0개의 댓글
·
post-thumbnail

[Paper Review] Sentence-BERT: Sentence Embedding using Siamese BERT-Networks

Intro 문장 간(혹은 문서 간) 유사도 분석에서 좋은 성능을 내고 있는 Sentence-BERT에 대해 알아보려고 한다. 논문 원제는 Sentence-BERT: Sentence Embedding using Siamese BERT-Networks이며, 최근 성능이

2021년 10월 10일
·
0개의 댓글
·