AlexNet
그 당시에 GPU가 부족했기 때문에, 최대한 파라미터를 집어넣기 위해 네트워크를 두 개로 나누어서 사용
11 x 11 filter를 사용하게 되면 하나의 하나의 conv kernel이 볼 수 있는 영역은 커지지만 상대적으로 더 많은 파라미터가 필요가 되기 때문에 좋지 않다.
Convolution layer 5개와 Dense layer 3개의 총 8단으로 되어있는 네트워크
key ideas
지금은 이러한 아이디어들이 흔하지만 이때 당시에는 이러한 AlexNet을 통해 일반적으로 제일 잘되는 기준을 잡아주었다.
VGGNEet
GooleNet
AlexNex | GoogleNet | GoogleNet | |
---|---|---|---|
nework | 8 | 19 | 22 |
parameter | 60M | 110M | 4M |
ResNet
DenseNet
ResNet은 convolution에서 나오는 값을 더하는 것인데, DenseNet은 그것을 더하지 말고concatenate를 해보자는 네트워크이다.
하지만 concatenate를 하게 되면 채널이 커지고, 여기서 가해지는 convolution feature map의 channel이 커지게 되고, 파라미터의 숫자가 커지게 되니까, 중간에 한번씩 channel을 줄여주자는 것이 key point
Dense Block : feature map을 concatenate하면서 기하급수적으로 키우는 단계
Transition Block : Batchnorm → 1 x 1 Conv → 2 x 2 AvgPooling 을 통해 채널을 줄이는 것
이러한 Dense Block과 Transition Block을 반복하는 것이 DenseNet이다.