1. 딥러닝 개념 정리
1) top-5 error, top-1 error
- 이미지 분류 성능을 평가하기 위한 것
- top-1 class: 이미지를 분류할 때 가장 가능성이 높은 라벨
- top-1 accuracy: 예측값이 일반적으로 생각하는 정답을 맞힌 정확도
- top-5 class: 가장 가능성이 높은 5가지 라벨
- top-5 accuracy: 예측한 확률이 높은 순서로 5개 내에 정답이 있는 경우 맞힌 것으로 간주하며, 이때의 정확도를 나타냄
- top-5 error가 낮으면 분류기 성능이 좋다고 판단 가능
2) CNN (convolution neural network)
- 합성곱 신경망
출처
사진 데이터를 fully connected layer로 학습시키는 경우 3차원 사진 데이터를 1차원 으로 평면화시키는 과정을 거친다. 이때 공간 정보가 손실되는데, 이러한 손실은 정보 부족으로 이어져 인공신경망이 특징을 추출하고 학습하는 데에 한계를 가질 수 있다. 따라서 이미지 공간 정보를 유지한 채로 학습이 가능하도록 하는 모델이 등장했는데 이것이 CNN이다.
Fully connected layer와 차이점
1. 각 레이어의 입출력 데이터의 형상 유지
2. 이미지 공간 정보를 유지하면서 인접 이미지와의 특징을 효과적으로 인식
3. 복수의 필터로 이미지의 특징 추출 및 학습
4. 추출한 이미지의 특징을 모으고 강화하는 Pooling layer
5. 필터를 공유 파라미터로 사용하기 때문에 일반 인공신경망과 비교해 학습 파라미터가 매우 적음
3) VGG
- 뒤에 붙는 숫자가 층의 개수
- 3*3 커널을 이용해서 더 많은 레이어를 쌓아 이미지의 비선형적 특징을 잘 포착함
4) Vanishing gradient
gradient descent를 통해서 기울기를 학습할 시 깊은 레이어에 다달아 데이터에 따른 차이를 충분히 반영하지 못함. 이렇게 gradient가 매우 작아져 레이어를 학습시킬 수 있을 만큼의 충분한 값을 표현하지 못한 경우를 들어 기울기 소실(vanishing gradient)라고 함
- 해결방법
- 활성화 함수 변경, 가중치 초기화
- Skip Connection:
ResNet에서 사용한 방법. 레이어의 입력을 다른 곳에 이어서 gradient가 깊은 곳까지 이어지게 함
정리
- CNN: 합성곱 신경망, 이미지를 분류하는 여러 모델에 쓰이는 레이어
- VGG: CNN을 사용해 만든 모델 중 하나, 3*3 커널을 이용해 이미지의 비선형적 특징을 잘 잡아내며, 계산량을 현저히 줄임
- ResNet: CNN을 사용해 만든 모델 중 하나, Skip connection을 이용해 vanishing gradient 문제를 해결함
참고
2. 회고
예전에 접하고 정리한 적 있던 거 같은 개념도 까먹어서 자꾸 다시 찾아보고 이랬었지, 하고 읽게 된다. 상반기 목표를 이루려면 복습을 더 해야할 거 같다.
알고리즘 문제를 꾸준히 풀어보려고 한다. 그동안은 마구잡이로 풀었는데 이제부터는 목표를 가지고 할 것이다. 우선 이번 달 안에 프로그래머스 레벨 1을 모두 푸는 것이 목표다.
