paper review

Knowledge Embedding objective와 MLM objective를 jointly optimizing을 한 Knowledge-enhanced Pre-trained Language Model인 KEPLER에 대한 paper review

PLM의 original parameter를 고정하고 모델에 adapter를 부착하여 new knowledge를 inject하는 K-ADAPTER에 대한 paper review

text로부터 직접 relation representation을 배우는 새로운 method인 Matching The Blanks(MTB)

BERT에 대하여 contiguous한 random span에 대하여 masking을 하였고, masked span의 전체 context를 예측하기 위하여 span boundary objective를 사용한 BERT extension이다.

SimCSE paper review

BERT의 sentence representation을 improve하기 위한 contrastive learning method

Distance Polarization Regularizer를 사용하여 기존의 Contrastive Learning을 개선하는 method를 제안

Novel Class Discovery task에 대하여 Neighborhood Contrastive Learning + Hard Negative Generation method를 제안

Mixup에서의 locally linear constraint를 완화하기 위하여 Adversarial Mixing Policy를 제안

back-translation에 adversarial training을 sequential stacking하고 consistency loss와 contrastive loss를 이용하여 informative한 augmented data augmentation 기법을 제안

cluster-based와 contrast-based를 link하는 relation knowledge-distillation 기법 제안

점진적으로 false negative 찾아내고 제거하는 방식을 통하여 Contrastive Learning의 false negative problem을 개선