[Day3] 2021/08/25
강의리뷰
-이미지분류 5,6강: Model
- pytorch를 이용한 모델링은 Low-level,Pythonic, Flexibility의 장점을 가진다.
- pytorch 모델의 모든 레이어는 nn.Module클래스를 따르고, __int__ 과 forward 함수가 들어간다.
- pretrained Model: 좋고 많은 데이터로 미리 학습시킨 모델을 이용해 내 목적에 맞게 사용. torchvision.models를 이용.
이미지 분류대회 준비
- densenet121학습결과(NUM_EPOCH = 10, BATCH_SIZE = 50, LEARNING_RATE = 0.001)
:
- 데이터셋을 편하게 쓰기위한 라벨링 재구성
피어세션 (with 이유경 멘토님)
-
Library를 import한 후에는 항상 pytorch version과 사용 가능한 device를 check해야 한다.
+ pytorch version마다 supported function이 다르기 때문.
Library import를 마치면, 모든 seed를 고정해줘야 한다. -
torch.manual_seed, cuda seed, backend seed, numpy seed까지 전부 고려해줘야 함.
-
torchvision.models에 있는 다양한 model들을 경험해봤으면 좋겠다.
-
각각 다른 모델 써보기 :)
전처리를 다양하게 해보고, 좋은 전처리 방법을 공유하자! -
좋은 전처리 방법을 모아서 가령, preprocess와 같이 하나의 module로 만들어보자.
-
hyperparameter는 전부 argparser로 빼자.
-
notebook에서 script 파일로 넘어가기 위한 준비!
parameter 지정은 하나로 모아놓자 (나중에 수정할 때 찾기 귀찮다.) -
model.to(device)를 계속 반복하다 보면, device에 model을 계속 올리기 때문에 Runtime Error가 발생할 수 있다.
-
GPU에서 문제가 생기면, CPU로 바꿔본 다음에 문제를 찾아보자
-
cpu로 바꿨는데 문제가 생기지 않는다면 무조건 GPU 문제다.
마무리
다른분들보다 조금 늦었지만 resnet과 densenet으로 학습했을때 성능이 만족스럽지 못했다. 내일은 efficient으로 돌려봐야겠다. 조심스러운 것은 마스크나 성별에 대해서는 잘 구분하는 것같지만 60+의 나이를 분류하는것에 문제가 있는 것 같다.. 흐음..~
