[P_stage] - week 6 Day 2

[Day2] 2021/09/07

강의 리뷰

-CV 2강: Annotation data efficient learning

• Data augmentation
  • 신경망은 압축된 feature를 학습하는데, 학습 데이터는 실제 데이터의 일부일 뿐이라 같다고 할 수 없다. 따라서, 회전,밝기조정,crop을 통해 흔히 augmentation을 한다.
  • 학습데이터의 다양성이 실제 데이터의 다양성과 비슷 할 수 있도록 OpenCV와 Numpy를 이용한다. ex) Brightness adjustment, Rotate, flip, Crop, Affine trnsformation, Cutmix, RandAugment
• Leveraging pre-trained information
  • transfer learning: 상대적으로 적은 데이터로 할 수 있는 실질적 학습 방법
  • pretrained model의 마지막 layer를 잘라내고 새로운 FC layer를 붙여 다시 학습. conv layer는 freeze.
  • Knowledge distillation: 이미 학습된 Teacher Model의 지식을 더 작은 model에 주입하여 학습.(모델 압축), pseudo-label하는데에 사용됨.
  • (standard) Teacher(pretrained)와 student에게 동시에 입력을 주고 결과에 KL-div. Loss를 통해서 student model에 backpropagation.
  • (label이 존재할 때) Ground Truth label로 student loss를 구함.
  • Distillation Loss : KLdiv(Soft label, Soft prediction), loss = teacher와 student의 추론값의 차이.
  • Student Loss: Crossentropy, loss = 추론과 실제값 차이
• Leveraging unlabeled dataset for training
  • semi-supervised learning: labeled data로 모델을 학습 -> 모델로 unlabeled data로 pseudo label생성 -> 두 데이터로 재학습.
  • Self-training= Augmentation + Teacher-Student networks + semi-supervised learning
    1. ImageNet의 1M개 데이터로 teacher model을 학습
    2. teacher model로 300M data를 추론(pseudo-labeling)
    3. 두 데이터로 student model을 학습(RandAugment로).
    4. 학습된 모델을 teacher model로 사용해서 위과정을 2-4정도 반복.(모델이 점점 커짐)