Few Shot Learning

0. fet shot learning VS meta-learning VS fine tuning

Few-Shot Learning, Meta-Learning, Fine-Tuning 비교표

항목	Few-Shot Learning (소샷 학습)	Meta-Learning (메타 학습)	Fine-Tuning (파인튜닝)
정의	적은 데이터로 새로운 클래스나 작업을 학습하는 방법	학습 자체를 학습하여 새로운 작업에 신속히 적응하는 방법	사전 학습된 모델을 새로운 작업에 맞게 조정하는 방법
목표	최소한의 예제로 높은 일반화 성능 발휘	다양한 작업에서 학습 경험을 통해 효율적으로 적응 가능	특정 작업에서 성능 최적화를 위해 모델의 매개변수를 조정
데이터 요구사항	클래스당 1~몇 개의 예제만 필요	학습 단계에서 다양한 작업 데이터 필요	새로운 작업을 위해 중간 수준의 데이터 필요
범위	동일 작업 내 새로운 클래스를 학습	작업 전반에 걸쳐 적응할 수 있는 능력을 학습	사전 학습된 모델을 특정 작업에 맞게 조정
주요 특징	- 클래스당 적은 데이터 - 사전 지식을 활용한 일반화	- 작업 수준 학습 - 빠른 적응 - 학습 방법 최적화	- 전이 학습 - 특정 레이어 업데이트 - 과적합 방지
응용 사례	희귀 질환 진단, 개인화 추천 등 데이터가 부족한 상황	언어 번역, 로봇 제어 등 다양한 작업에 신속히 적응해야 하는 상황	의료 이미지 분류 등 사전 학습된 모델을 기반으로 성능 최적화
대표 알고리즘/기법	- Metric Learning - Prototypical Networks 등	- MAML - Reptile 등	- 사전 학습 모델 재학습 - 특정 레이어만 조정 가능
주요 차별점	새로운 클래스를 적은 예제로 학습	새로운 작업을 신속히 학습	새로운 작업에 최적화된 성능 제공
적합한 상황	새로운 클래스를 매우 적은 데이터로 학습해야 할 때	다양한 작업에 적응 능력이 필요한 경우	사전 학습 모델을 새로운 작업에 맞춰야 할 때

1. Few Shot Learning에 대한 소개

Few-Shot Learning (FSL):

• Few-Shot Learning은 적은 수의 데이터로도 높은 성능을 발휘할 수 있도록 모델을 학습시키는 기술

Few-Shot Learning의 목표

• 새로운 태스크나 클래스에서 소량의 학습 샘플만 사용해도 높은 일반화 성능을 달성.
• 인간처럼 제한된 경험으로도 새로운 문제를 빠르게 학습하는 능력을 모델에 부여.

---

Few-Shot Learning의 핵심 구성 요소

(1) Base Model의 사전 학습 (Pretraining)

• Few-Shot Learning은 보통 사전 학습된 모델을 활용하여 새로운 태스크를 학습함.
• Diffusion model의 경우, 사전 학습 과정에서 다양한 분포를 학습하여 초기 가중치와 임베딩 레이어를 형성.

(2) Task-Specific Fine-Tuning

• 특정 태스크나 데이터셋에 맞게 모델을 소량의 데이터로 미세 조정(fine-tuning).
• Fine-tuning은 모델의 기존 가중치를 유지하면서 소량의 샘플로 특정 분포를 학습시킴.

(3) Meta-Learning

• Few-Shot Learning에서는 Meta-Learning 기법이 자주 활용됨.
• "Learning to Learn"의 개념으로, 모델이 다양한 태스크에서 학습하는 방법 자체를 학습
  • 이를 통해 새로운 태스크에서도 빠르게 적응할 수 있음.

---

Few-Shot Learning의 주요 기법

(1) Fine-Tuning 방식

• 기존 모델의 일부 레이어(주로 상위 레이어)를 고정(freeze)한 상태에서 소량의 데이터를 사용해 특정 태스크에 맞게 하위 레이어를 미세 조정.
• Diffusion model에서는 노이즈 예측 네트워크 또는 임베딩 레이어를 소량의 데이터에 맞춰 재학습.

(2) Prompt Tuning (프롬프트 튜닝)

• 기존 모델의 가중치를 변경하지 않고, 입력에 추가적인 제어 신호를 부여해 특정 태스크에 적합한 출력을 생성.
• 예: Diffusion model에서 특정 텍스트 조건(prompt)을 사용해 데이터의 제어성을 강화.

(3) Transfer Learning

• 대규모 데이터로 사전 학습된 모델의 지식을 활용해 소규모 데이터셋에서도 성능을 유지.
• Diffusion model의 경우, 사전 학습된 노이즈 분포를 기반으로 새로운 데이터 분포를 학습.

(4) Prototype-Based Methods

• 새로운 클래스의 몇 개 샘플만으로 해당 클래스의 중심(prototype)을 정의하여 분류.
• 예: 이미지 생성에서, 소량의 샘플로 Latent Space의 새로운 중심을 형성.

(5) Contrastive Learning

• Diffusion 모델에서는 샘플 간 유사성을 극대화하거나 차이를 최소화하는 방식으로 Few-Shot Learning에 활용될 수 있음.

---

Few-Shot Learning과 Diffusion 모델의 결합

• Few-Shot Learning은 Diffusion 모델과 결합할 때 특정 데이터를 기반으로 모델을 빠르게 조정하거나, 기존 분포를 확장하는 데 유용하다.

1. 특정 데이터셋에 대한 Fine-Tuning:

   • Few-Shot Learning을 통해 Diffusion 모델의 일부 가중치(예: 텍스트 임베딩 또는 노이즈 예측 네트워크)를 조정하여 특정 데이터셋에 맞는 시나리오를 생성.

2. Guided Sampling 제어 강화:

   • Few-Shot Learning 기법으로 Diffusion 모델의 제어성을 높이고, 원하는 데이터 분포를 더 잘 따르도록 개선.

3. Low-Resource Scenario 지원:

   • 데이터를 많이 확보하기 어려운 분야(예: 의료, 특수 교통 상황)에서도 현실적이고 제어 가능한 샘플 생성 가능.

---

요약

• Few-Shot Learning은 소량의 데이터로 학습하는 기술로, Diffusion 모델에서 특정 데이터셋이나 목적에 맞는 결과를 생성하기 위해 활용될 수 있어.
• 특히, Guided Sampling의 한계를 극복하고, 제어 가능성을 높이는 데 중요한 역할을 함.
• Meta-Learning, Fine-Tuning, Prompt Tuning과 같은 기법이 Diffusion 모델과 결합하여 더 높은 제어성과 현실성을 제공할 수 있어.