이번 시간엔 CIFAR10이라는 이미지 분류 데이터셋을 다뤘다. airplane, automobile, bird, car, deer, dog, frog, horse, ship, truck 이 10개의 클래스로 분류되는 32x32 크기의 60,000개의 이미지 데이터로 이뤄진 데이터셋이다. 이 중 5,0000개는 학습 데이터, 나머지 1,0000개는 테스트 데이터다. 각 클래스마다 6,000개의 데이터를 가지고있으며, 학습 데이터와 테스트 데이터의 수도 각각 5,000개, 1,000개이다.
이미지 출처: https://bskyvision.com/644
이 모델에서의 출력은 H(x)가 아닌 H(x)와 x의 차이인 F(x)=H(x)-x이며, H(x)=F(x)+x로 표현할 수 있다. Residual learning에서 얻고자 하는 출력값은 H(x)=F(x)+x이다. F(x)에 더하는 연산만 추가되므로 새로운 파라미터(parameter)가 필요없어지고, 역전파(back propagation)할 때도 기울기가 빠르게 전달된다.
출처: https://www.datamaker.io/posts/36/