Self-supervised Learning
1.Contrastive Learning-MoCo(1)
: 비지도 학습 기반의 representation learning 알고리즘매우 많은 key가 존재하는 dictionary에서 query로 들어온 데이터에 대해 positive key에 대해서는 유사도가 높아야 되고 negative key에 대해서는 유사도가 낮아야 한다
2.Contrastive learing-MoCo(2)
ImageNet-1M: 1000개 클래스를 가진 1.28만개의 이미지들이 있다. 이 데이터셋은 균형이 잘 맞춰진 데이터셋이고 이미지들은 물체들의 정의가 되는 모습들을 담고있다.Instagram-1B: 인스타그램으로부터 public한 이미지들을 가져온 100만개 데이터셋
3.Self-Supervised Learning - SimCLR
SimCLR: A Simple Framework for Contrastive Learning of Visual Representations2020년도 발표된 논문Generative: input에서 모델 pixel들을 만드는 방법이다. pixel-level generat
4.[논문리뷰]Unsupervised Learning - Deep Clustering[1]
Deep Clustering 특징 1) end-to-end learning of convnets that works with any standard clustering algorithm, like k-means, and requires minimal additiona
5.[논문리뷰]Unsupervised Visual Representation Learning by Online Constrained K-Means
CoKe: online Constrained K-means Abstract cluster discrimination은 clustering과 discrimination으로 구성괸 unsupervised representation learning 중에서 pretext
6.Clustering
먼저 "final loss(최종 손실)"이 "multiple tasks(다중 작업)"에 대해 평균화될 것이라고 설명하고 있습니다. 이러한 전략은 "k-means 문제"에서 다양한 매개변수를 동시에 처리함으로써 "parameter setting problem(매개변수 설
7.Self-Supervised Learning
Self-supervised learning: 라벨이 없는 대용량 데이터를 학습시키는 방법Pretext 작업: 라벨이 없는 데이터에 라벨을 붙여주는 작업을 미리 하는 방식이지만 전처리 방식이 필요하다는 점에서 불편하다.Instance discrimination: 두 개