[RISE] 7주차 수행내용

저번 학습 결과를 통해 overfitting이 발생하는 것을 확인하였고, 어떻게 개선하면 좋을까 고민해보았다. 그리고 내가 사용한 함수나 방법들에 대해 다시 제대로 알아보았다.

대용량의 ImageNet데이터를 이용하여 사전학습된 분류모델 ResNet50을 불러와서 사용하였는데, 이러한 학습방법을 전이학습(Transfer Learning)이라고 한다.

전이학습 이란?

• 전이학습이란 딥러닝을 feature extractor로만 사용하고 그렇게 추출한 특징을 가지고 다른 모델을 학습하는 것
• 기존의 만들어진 모델을 사용하여 새로운 모델을 만들시 학습을 빠르게 하며, 예측을 더 높이는 방법
• 일반적으로 VGG,ResNet,gooGleNet등 이미 이러한 사전에 학습이 완료된 모델(Pre-Training Model)을 가지고 우리가 원하는 학습에 미세 조정 즉, 작은변화를 이용하여 학습시키는 방법이 Transfer Learning이다.
• 이미학습된 weight들을 transfer(전송)하여 자신의 model에 맞게 학습을 시키는 방법
• 신경망의 이러한 재학습 과정을 세부 조정(fine-tuning)이라 부름
• 실제로 CNN을 구축하는 경우 대부분 처음부터 (random initialization) 학습하지는 않는다.
• ImageNet과 같은 대형 데이터셋을 사용해서 pretrain된 ConvNet을 사용한다.

전이학습 방법

1. Feature extraction
2. pre-trained model을 모델 구조를 이용
3. 다른 레이어를 고정시키고 일부분 layer를 조정

keras 사전학습된 모델 종류

1. VGG
2. ResNet
3. MobileNet

정확도 높이는 방법

1. 가중치 초기화 방법 바꾸기
2. learning rate/batch size를 조절하기

[참고]

딥러닝 정확도 높이기
사전 학습된 ConvNet을 이용한 전이 학습