[2022 국민대학교 겨울 인공지능 특강] 4주차 4일 학습 내용

하지원·2022년 2월 8일
0

이번 시간엔 CIFAR10이라는 이미지 분류 데이터셋을 다뤘다. airplane, automobile, bird, car, deer, dog, frog, horse, ship, truck 이 10개의 클래스로 분류되는 32x32 크기의 60,000개의 이미지 데이터로 이뤄진 데이터셋이다. 이 중 5,0000개는 학습 데이터, 나머지 1,0000개는 테스트 데이터다. 각 클래스마다 6,000개의 데이터를 가지고있으며, 학습 데이터와 테스트 데이터의 수도 각각 5,000개, 1,000개이다.

  • ResNet
    ResNet은 기존의 VGG-19라는 레이어가 19층인 모델을 토대로 만든것이다. 이를 넘어 레이어의 개수를 100층 이상까지 해보기로 했지만, 레이어 수가 늘어날수록 정확도가 떨어지는 모습을 보여 학습 효율을 높일 수 있도록 고안해낸 방법이 Residual learning이라는 학습 방법이었다.

    일반적인 신경망은 한 층에서 다음 층으로 넘어가는 x를 입력하면 함수 H(x)의 값을 출력하는 방식인데, ResNet에서는 한 층을 건너뛰는 방식으로 학습이 진행되며, 지름길을 사용한다고 이해하면 된다. 이런 연결 방식을 shortcut connection이라고 한다.


이미지 출처: https://bskyvision.com/644

이 모델에서의 출력은 H(x)가 아닌 H(x)와 x의 차이인 F(x)=H(x)-x이며, H(x)=F(x)+x로 표현할 수 있다. Residual learning에서 얻고자 하는 출력값은 H(x)=F(x)+x이다. F(x)에 더하는 연산만 추가되므로 새로운 파라미터(parameter)가 필요없어지고, 역전파(back propagation)할 때도 기울기가 빠르게 전달된다.

출처: https://www.datamaker.io/posts/36/

  • Transfer learning
    한국어로 전이 학습이라 부르며, 이미 훈련된 모델의 가중치(weight)를 가져와서 진행중인 프로젝트에 맞춰 재적용해서 사용하는 방식이다.
profile
국민대 전자공학부, 서강대학교 석사과정, 크래프톤 정글 2기

0개의 댓글