4.2.4 교차 엔트로피 오차 구현
데이터의 묶음, mini-batch로 학습 -> 손실함수의 정규화 필요
*(1/N)
4.2.5 왜 손실함수 인가?
>> 정확도 vs 손실함수
'미분'을 통해서 신경망 학습, 즉 최적의 매개변수를 찾는다!
여기서 미분이란? 작은 입력의 변화대비 출력의 변화를 볼 수 있게하는 도구
그러나 정확도를 이용하면 매개변수를 조금 변화시키더라도 정답률이 바뀌지는 않는다!
손실함수의 경우 작은 입력변화에도 '연속적'으로 값이 변하기 때문에 적절하다.
4.3 수치미분
2가지 문제점
- 가능한한 작은 변화를 주고 싶지만 너무 작은 변화는 무시되고 만다.
>> 반올림 오차 rounding error
따라서 적당하게 작은 변화를 주자! -> 1e-4 = 0.001
- 함수의 차분 문제
차분이란? 서로 다른 입력에 대한 출력의 차이
수치미분은 아무리 작은 변화를 주더라도 엄밀한 의미에서 오차를 포함함
>> 중심 차분을 통해 해결!
