BoostCamp Pstage day3 Model

Model

In general, a model is an informative representation of an object, person or system

Design model with python

nn.Module

forward

nn.Moudle Family

Parameters

Pythonic

Pretrained Model

ImageNet

• 14 million images, 20 thousands categories
  대용량 데이터는 필수

Pretrained Model

배경

좋은 품질, 대용량의 데이터로 미리 학습한 모델
-> 이 모델을 바탕으로 내 목적에 맞게 다듬어서 사용

공개되어있는 Model

• Timm
• Torchvision
• Huggingface

Transfer Learning

CNN base 모델 구조

• input + CNN Backbone + Classifier = output

Torchvision model 구조

ex) resnet18의 경우 마지막 fc.out_features가 분류하는 타겟의 개수

내 데이터, 모델과의 유사성

우리 데이터 문제가 구름 위성 사진을 바탕으로 구름 종류를 분류하는 문제라면, 위의 분류기(Classifier)의 1000개의 클래스를 현재 데이터의 라벨 수로 바꿔주면 된다.

case by case

case 1. 학습 데이터가 충분하다.

High Similarity : CNN Backbone을 freeze, Classifier를 trainig
Low Similarity : CNN Backbone과 Classifier 모두 training

case 2. 학습 데이터가 충분하지 않다.

High Similarity : CNN Backbone을 freeze, Classifier를 trainig
Low Similarity : 학습하지 않는 것을 추천한다.