깊은 신경망에 대해
문제
- 1980년대 이미 아이디어 등장
- 시그모이드, 계단함수 등의 활성함수 경사소멸문제
- 작은 훈련집합 데이터
- 과다한 연산(컴퓨터 성능 낮음)
해결연구 지속
- 학습률 도입해 그래디언트 최적값 진입
- ReLU같은 활성함수 개선을 통해 경사소멸문제 해결
- 규제 기법을 통해 Overfitting 문제 감소
- 컴퓨터 성능 급등
다층퍼셉트론에서 심층학습으로
다층 퍼셉트론
- 은닉층으로 특징을 추출
- 얕은 구조로 낮은 성능
- 수작업으로 특징을 선택
심층학습
- 학습을 통해 데이터의 특징을 추출
- 수작업이 필요 없음
특징추출, 분류까지 모든 작업을 학습으로 진행
컴퓨터가 좋아