# Contrastive Learning

26개의 포스트
post-thumbnail

[딥러닝] Bootstrap Your Own Latent : A New Approach to Self-Supervised Learning (BYOL)

1점짜리 답안지도 좋은 참고서가 될 수 있다고?

2023년 10월 22일
·
0개의 댓글
·
post-thumbnail

[NeurIPS 2022]Energy-Based Contrastive Learning of Visual Representations (작성중)

Contrastive learning은 Deep Neural Networks (DNNs)를 훈련함으로써 visual representation을 학습하는 방법이다. 일반적으로 positive pairs (transformations of the same image)들의

2023년 8월 25일
·
0개의 댓글
·
post-thumbnail

[논문] SimCLR

A Simple Framework for Contrastive Learning of Visual Representations, 2020 ICML.

2023년 8월 11일
·
0개의 댓글
·
post-thumbnail

Self-Supervised Learning - SimCLR

SimCLR: A Simple Framework for Contrastive Learning of Visual Representations2020년도 발표된 논문Generative: input에서 모델 pixel들을 만드는 방법이다. pixel-level generat

2023년 7월 10일
·
0개의 댓글
·
post-thumbnail

Contrastive learing-MoCo(2)

ImageNet-1M: 1000개 클래스를 가진 1.28만개의 이미지들이 있다. 이 데이터셋은 균형이 잘 맞춰진 데이터셋이고 이미지들은 물체들의 정의가 되는 모습들을 담고있다.Instagram-1B: 인스타그램으로부터 public한 이미지들을 가져온 100만개 데이터셋

2023년 7월 10일
·
0개의 댓글
·
post-thumbnail

Contrastive Learning-MoCo(1)

: 비지도 학습 기반의 representation learning 알고리즘매우 많은 key가 존재하는 dictionary에서 query로 들어온 데이터에 대해 positive key에 대해서는 유사도가 높아야 되고 negative key에 대해서는 유사도가 낮아야 한다

2023년 7월 10일
·
0개의 댓글
·

[NLP #3] SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP, 2021)

한줄 요약: unlabeled or labeled data 모두에서 setence embedding 뽑을 수 있다? Paper: https://aclanthology.org/2021.emnlp-main.552/Code: https://github.co

2023년 3월 15일
·
0개의 댓글
·
post-thumbnail

Text and Code Embeddings by Contrastive Pre-Training

Text and Code Embeddings by Contrastive Pre-Training, OpenAI

2023년 1월 23일
·
0개의 댓글
·
post-thumbnail

[논문 리뷰] Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency

Self-Supervised Contrastive PreTraining for TimeSeries via Time-Frequency Consistency

2023년 1월 11일
·
0개의 댓글
·
post-thumbnail

[논문 리뷰] COST: Contrastive learning of disentangled seasonal-trend representations for time series forecasting

CoST: Contrastive Learning of Disentangled Seasonal-Trend Representations for Time Series Forecasting

2023년 1월 11일
·
0개의 댓글
·
post-thumbnail

[GDSC/ML] CLIP 이해를 위한 Transformer & GPT 리뷰📎

Attention Is All You Need 정리 Improving Language Understanding by Generative Pre-Training 정리

2022년 11월 17일
·
0개의 댓글
·
post-thumbnail

TS-TCC 정리 및 분석 - 3

6. 실험 준비 이번 파트에서는 TS-TCC의 4번째인 실험에 관해서 설명하겠습니다. 논문의 내용 번역은 굵은 글씨로 나타내겠습니다. 4.1 **우리의 모델을 평가하기 위해, 우리는 세가지의 공개된, HAR 데이터셋과, Epilepsy Seizure Predictio

2022년 9월 22일
·
0개의 댓글
·

[Story Generation #2] Genre-Controllable Story Generation via Supervised Contrastive Learning (WWW, 2022)

Challenge : Pretraine language model 등의 발전으로 controllable text genration이 각광받고 있다. 하지만 story-specific controllability를 잘하기 위해선 아직 부족하다!

2022년 8월 15일
·
0개의 댓글
·

TS-TCC 정리 및 분석 - 1

졸업을 위해 캡스톤 디자인을 하면서 Contrastive learning쪽에 대해 공부하게 되었는데, 공부에 쓰인 TS-TCC 논문을 정리해서 남기고자 해당 포스팅을 씁니다. 코드 : https://github.com/emadeldeen24/TS-TCC 논문 : ht

2022년 7월 30일
·
0개의 댓글
·
post-thumbnail

Incremental False Negative Detection for Contrastive Learning (ICLR / 2022)

점진적으로 false negative 찾아내고 제거하는 방식을 통하여 Contrastive Learning의 false negative problem을 개선

2022년 6월 26일
·
0개의 댓글
·
post-thumbnail

Boosting Contrastive Learning with Relation Knowledge Distillation (AAAI/ 2022)

cluster-based와 contrast-based를 link하는 relation knowledge-distillation 기법 제안

2022년 6월 26일
·
0개의 댓글
·

[간단정리]Adversarial Self-Supervised Contrastive Learning(NIPS 2020)

Some notes on Adversarial, Self-Supervised, and Contrastive Learning

2022년 5월 10일
·
0개의 댓글
·
post-thumbnail

CoDA: Contrast-Enhanced and Diversity-Promoting Data Augmentation for Natural Language Understanding (ICLR / 2021)

back-translation에 adversarial training을 sequential stacking하고 consistency loss와 contrastive loss를 이용하여 informative한 augmented data augmentation 기법을 제안

2022년 4월 3일
·
0개의 댓글
·