자기 지도 학습 (Self-Supervised Learning)

혁펜하임의 Easy! 딥러닝 책과 유튜브 강의 내용을 공부하며 정리한 글입니다.

✏️ 자기 지도 학습 (Self-Supervised Leaning) ?

• 진짜 풀려고 했던 문제 말고 가짜 문제를 새롭게 정의해서 먼저 풀어본다!
  • 내가 새롭게 가짜로 정의한 문제의 정답에 대해 지도 학습한다고 해서 "자기지도" 학습이라고 하는 것임
• 레이블이 없는 데이터로도 학습할 수 있는 방법
  • 지도 학습의 한계(대량의 레이블링된 데이터가 필요하여 많은 비용과 시간이 필요한 단점)을 극복하기 위해 등장
• 일반적으로 사전 학습(Pre-training)과 미세 조정(Fine-tuning) 두 단계로 나뉨
  • 사전 학습(Pre-training)
    • Downstream Task(실제 풀고자 하는 문제) 대신 Pretext Task(가짜 문제)를 새롭게 정의하여 해결.
    • 이 과정에서는 레이블이 없는 데이터를 활용
  • 미세 조정(Fine-tuning)
    • 레이블이 있는 데이터를 이용하여 일반적인 지도학습 방식으로 모델을 조정
    • (downstream task(ex)분류)를 풀기 위해 transfer learning 함)
• 이 두 단계 접근법은 레이블링된 데이터 만으로 학습한 모델보다 더 높은 성능을 얻을 수 있게 해준다.

✅ 컴퓨터 비전 분야의 자기 지도 학습의 대표적 예시

(1) Context Prediction

• 사전 학습 단계에서 이미지의 구조 및 객체 간 위치 관계를 학습하는 기법
• 이미지의 픽셀 값들이 무작위적이지 않고 일정한 패턴을 가진다는 사실을 활용한 학습 방법
  • 여기서 패턴이란 예를 들어 얼굴 이미지에서 눈,코,입이 특정 위치에 존재한다 등의 구조적 특징을 의미
• 이러한 학습을 통해 모델은 이미지의 구조와 특징을 더 깊이 이해하게 되고, 이는 향후 실제 분류 작업에서 더 나은 성능을 발휘하는데 도움
• 장점
  • 레이블이 없는 데이터에도 적용할 수 있음
  • 학습 데이터를 무한히 생성할 수 있음

(2) Contrastive Learning (대조 학습)

• 이미지 간의 관계를 학습하는 또 다른 자기 지도 학습 기법, 가장 많이 쓰임
• 모델 학습 규칙 : 출처가 같다면 당기고(Attract), 다르면 밀어내는(Repel) 학습 방식
  • 같은 이미지에서 변형된 이미지 쌍: 출력값을 서로 가깝게
  • 다른 이미지에서 변형된 이미지 쌍: 출력값을 서로 멀어지게
• 모델은 이미지의 고유한 특성을 파악, 이미지 간 유사도를 판단하는 능력을 기르게 된다!