4장 신경망 학습
4장의 주제는 신경망 학습이다.
이 신경망 학습이라는 것을 배우기 위한 여러 주제들을 배운다.
학습 : 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것
손실 함수, Loss Function : 신경망이 학습할 수 있도록 해주는 지표 (p.111)
- 손실 함수 값을 가능한 작게 만드는 것이 뽀인트이다. -> 이것이 잘 학습 되었다는 지표니까
- 손실 함수를 점점 줄이는 방법으로는 함수의 기울기를 활용하는 경사법이 있다.
특징 : 입력 데이터에서 본질적인 데이터(중요한 데이터)를 정확하게 추출할 수 있도록 설계된 변환기
- 이미지의 특징은 벡터로 기술한다.
- 이러한 특징은 떠올리고 사람이 직접 설계 해야됨 => 특징 공학 Feature Engineering
딥러닝은, 신경망, 데이터를 '있는 그대로' 학습한다. 즉, 특징 마저도 스스로 학습한다.
오버피팅, overfitting : 한 데이터셋에만 지나치게 학습되어 최적화된 상태
손실 함수는 일반적으로 오차제곱합, sum of squares for error, SSE & 교차 엔트로피 오차 Cross Entropy Error, CEE를 사용, 혹은 임의의 함수를 사용할 수도 있다.
미니 배치, Mini Batch : 모든 데이터의 손실 함수를 일일이 구할 수 없기 때문에, 데이터 일부를 추려 전체의 '근사치'로 이용, 이 일부가 미니 배치다.
미분 : 한 순간의 변화량을 표시한 것 (p.121)
수치 미분 : 아주 작은 차분으로 미분하는 것, 수식을 전개해 미분하는 것은 해석적, analytic이라는 말을 이용하여 '해석적 해' 혹은 '해석적으로 미분하다' 등으로 표현한다.
- 그냥 수식으로 계산하면 *반올림 오차 발생 수치 미분으로 계산 해야 한다.
편미분 : 변수가 여럿인 함수에 대한 미분
- x0 과 x1 중 어느 변수에 대한 미분이냐를 구별해야 되는 상황에서 사용
기울기, gradient : 모든 변수의 편미분을 벡터로 정리한 것
- 기울기가 가리키는 쪽은 장소에서 함수의 출력 값을 가장 크게 줄이는 방향이다.
경사법, gradient method : 현 위치에서 기울어진 방향으로 일정 거리만큼 이동, 기울기 해를 구하고 또 이동, 그리고 반복 해서 손실 함수의 값을 점차 줄이는 법.
그 외 신경망에서의 경사법 구현 및 복습 후 2층 신경망으로 미니배치 클래스 구현, 미니배치 학습 구현, 시험 데이터로 평가 등을 했다.
