학습 : 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는것
손실 함수
일반적으로는 평균 제곱 오차와 교차 엔트로피의 오차를 사용
평균 제곱 오차
오차의 제곱값의 합 1/2
교차 엔트로피 오차
정답일 때의 추정 자연로그 계산식
정답 레이블 * log신경망의 출력
정답 레이블의 출력이 0.6이라면 이떄의 교차 엔트로피는 -log0.6 = 0.51이 된다.
!정답일 때의 출력이 전체 값을 정함!
결과 오차가 더 작은 값이 정답일 가능성 높음
왜 손실함수를 설정?
최적의 매개변수를 탐색할 떄 손실함수의 값을 가능한 작게 만드는 매개변수를 찾게 됨
손실함수의 미분
-> 매개변수 값을 변화시켰을 때 손실함수가 어떻게 변하는가
정확도는 미분값이 대부분 0이라 갱신이 안됨
계단함수도 갑자기 값이 확 변함 -> 손실함수 사용으로 값 점차 바꾸기 불가능
따라서 시그모이드를 사용하게 된다.
수치미분
아주 작은 차분으로 미분하는 것
