8장 딥러닝
층을 깊게한 신경망이 딥러닝이다!
이 책에서는 다른 책에서 소개하는 어마무시한 층수에 딥러닝 구현하지 않았다. 그냥 딥러닝 맛보기 정도이다.
더 깊게
VGG(Very deep convoulutional Neural Network) 신경망을 참고해서
- 3 X 3 의 필터를 사용하는 합성곱 계층, 풀링 계층
- 활성화 함수는 ReLU 계층
- 완전연결 계층 뒤에 드롭아웃 계층
- 소프트맥스 계층 출력
- Adam을 사용한 최적화
- He의 가중치 초깃값
을 사용한 딥러닝 신경망을 구현하셨다. (책에는 없고, 깃헙에 있다고 설명한다. p.263)
작가님이 구현한 신경망(VGG)의 정확도는 99.38%(약간의 오차범위 있음)이다.
정확도를 더 높이는 방법 (p.264)
-
<What is the class of this image?> 라는 웹사이트도 소개해 준다. -> 여러 데이터셋을 대상으로 여러 논문들에서 발표된 기법들의 정확도 순위를 정리해둔 사이트 (직접 구현해보라는 의도도 보인다.)
-
위 사이트의 상위 기법들을 참고해 정확도를 더 높일 수 있는 기술이나 힌트를 발견할 수 있다고 한다. ex) 앙상블 학습, 학습률 감소, 데이터 확장(p.265) 등
층을 깊게 하는 이유 (p.265)
정확한 이론들은 아니고 (이를 위한 학문이 XAI 이겠다.) 책에서 설명하는 층을 깊게하는 것의 중요성을 보자
- 결과에서 파악이 가능하다 -> 대회에서 상위를 차지하는 기법 대부분은 딥러닝 기반이다.
- 신경망의 매개변수 수가 줄어든다. -> 층을 깊게 하면 그렇지 않은 신경망 보다 적은 매개변수로 같은 혹은 이상 수준의 표현력 달성이 가능하다.
- 층이 깊어질수록 매개변수의 수가 적어지고 이는 학습의 효율성도 높이고, 층 마다 ReLU 등의 활성화 함수를 넣음으로서 표현력 또한 개선된다.
- 개를 인식하는 문제로 예시를 들자면, 한번만 보고 맞추는 것보다(단층), 여러 측면에서 여러 번 보고 맞추는 것이 확률이 높을 것이다.(다층)
- 정보를 계층적으로 전달할 수 있다. -> 한 층의 결과값을 다음 층에서 쓸 수 있기 때문에 더 의미 있는 결과(패턴 인식)을 기대할 수 있다.
딥러닝의 초기 역사
ILSVRC에서 개최하는 대회에서 우승한 모델들을 소개하며, 초기의 인공지능 모델부터 현재도 많이 쓰이는 모델을 소개해준다.
- 이미지넷(ImageNet) : ILSVRC에서 제공하는 이미지 데이터셋
그 중에 VGG, GoogLeNet, ResNet의 기법들의 구조들을 설명해준다. (p.270-273)
더 빠르게(딥러닝 고속화)(p.273)
딥러닝 고속화를 위해 연구하는, 사용하는 기법들을 소개하는 절이다. (GPU의 병렬 연산, Cuda 소개, GPU 스케일 아웃, 연산 정밀도와 비트 줄이기 위한 노력들)
딥러닝 기법들의 이해와 구현과 더불어 중요하고, 인지해야 되는 테크닉들이겠다.
딥러닝의 활용
현재 딥러닝이 할 수 있는 컴퓨터 비전 분야들을 소개해주는 절이다. (분야와 분야의 SOTA(책이 출판된 기준)기법들을 알려준다.
- 사물 검출(Categorical Object Detection) : R-CNN(Regions with Convolutional Neural Network), Faster R-CNN
- 분할(segmentation) : FCN(Fully Convolutional Network)
- 사진 캡션 생성(image caption generation) : NIC(Neural Image Caption)(CNN, RNN의 순환적 관계를 갖는 신경망)
- 멀티모달 처리(multimodal processing) : 여러 종류의 정보를 조합하고 처리하는 것 -> 사진 캡션 생성이 했던 것처럼.
위에서 내가 제일 해보고 싶은 기법은 분할이고 재밌을 것 같은것은 사진 캡션 생성이다.
딥러닝의 미래
딥러닝의 가능성과 미래를 볼 수 있는 연구 과제들
- 이미지 스타일(화풍) 변환 : [A Neural Algorithm of Artistic Style]
- 이미지 생성 : DCFAN(Deep Convolutional Generative Adversarial Network)
- 자율 주행 : SegNet
- Deep Q-Network : 강화학습
요약
이번 장에서 소개한 최신 기술과 딥러닝의 비전 등의 세세한 기술 또한 중요하고 알아야겠다만, 내가 생각하는 이 책에서 가장 중요한 포인트는 딥러닝을 이해했고, 새로운 기술들이 쏟아져 나오는 이 시기에 그 기술들을 그 지식들을 갖고 습득이 되냐?는 것이다.
딥러닝의 전반적인 이해를 아주 초보자의 눈높이 맞추어 쉽게, 원리부터 이해할 수 있었다. 필수 입문서라는 말이 괜히 나오진 않았구나 라는 생각이 절로 든다.
물론 아직 많이 부족하지만, 언젠가는 무리 없이 기술들을 이해하고 실용에 적용한 날이 올때까지, 그 이후에도 노력해야겠다.
