2022.07.11 Mon

CNN-fashionMnist 실습

https://colab.research.google.com/drive/1oUXKoOr58z8wCA_GICjl6vQtb53_ttb2?usp=sharing

CNN Architectures

-LeNet-5
-AlexNet
-VGGNet
-ResNet

• LeNet-5
  얀 르쿤이라는 사람이 개발, 우편물의 우편번호를 인식하여 자동으로 분류할 수 있는 소프트웨어를 개발하여 상용화함
  [Layer 구조]
  -Input layer
  -c1
  -s2
  -c3
  -s4
  -c5
  -F6
  -Output layer

• AlexNet
  LeNet은 구조적 한계로 숫자 분류 이상의 작업에는 어려움
  LeNet에서 사용한 Convolution layer의 개수를 늘림으로써 모델 성능을 늘리는 데에도 한계가 있었음
  이미지 분류 문제가 중요한 문제!
  -> ILSVRC라는 경진대회 열림 : Alex Krizhevsky가 AlexNet이라는 CNN 모델을 제출
  -> AlexNet이 기존 CNN들과 차별화된 가장 큰 특징은 바로 모델을 GPU를 통해 훈련하였다는 점!!
  -> ReLu 활성화 함수와 Dropout이라는 것들도 AlexNet 논문에서 처음 소개됨
  [구조]
  

가장 큰 특징 : 모델이 두 갈래로 분리되었다는 점

• VGGNet
  옥스포드 대학의 연구팀 VGG에 의해 개발된 모델
  가장 큰 특징은 처음으로 모든 Convolution layer의 커널사이즈를 3X3으로 사용했다는 점이다
  (16개의 layer를 가지면 VGG16, 19개의 layer를 가지면 VGG19라고 한다)

• ResNet
  2015년 ILSVRC 대회 우승 모델, Microsoft 연구소에서 개발한 모델, AlexNet보다 더 낮은 에러율, 엄청나게 많은 layer를 사용한 점이 크게 기여함(최대 152개 layer 사용)
  Vanishing Gradient(기울기 손실) 문제-gradient가 0에 가까워지는 현상->weight의 업데이트가 제대로 이루어지지 않을 것이다(학습이 잘 안될것) -> 해결:ReLu 또는 ResNet
  
  가장 가벼우면서 널리 사용되는 것 : ResNet-18