오류 역전파 알고리즘

• 순방향으로 매개변수, 활성함수 등을 거쳐서 아웃풋이 나오게 됨
  이과정을 식으로 풀면
  이런 형태가 나옴

• x로 연산한 예측값 o와 실제값 y의 차이를 계산하는 것이 목적함수보통 배치 모드의 목적함수(MSE)를 사용

• 결국 입력값에 연산이 되는 w의 값을 조정해야하는데 e를 w로 미분해서 증가, 감소 정보를 알아내서 매개변수w를 수정해나가는 방식으로 매개변수 갱신

각 매개변수 증가량 계산

결국 구하고 싶은것은 매개변수에 의한 에러 증가량이기 때문에 각각 거치는 연산 과정에서 미분값을 구해야함

합성함수를 미분해야 하는데 밖에서 미분 + 안에서 미분 형태로 미분이 이뤄짐 (연쇄법칙)

• 목적함수의 값

• 여러층의 퍼셉트론 여기선 2개 U1, U2
• 각 퍼셉트론 증가량 분의 목적함수 증가량 미분에서 최저값을 향하는 방향으로 원래 퍼셉트론 값에서 빼줌

곱셈의 역전파

• 반대쪽 in 값에 영향을 받음

덧셈의 역전파

• 덧셈 식에 자기 자신에 대한 미분값은 1로 나오기에 아웃그래디언트를 그대로 받음

시그모이드 활성함수 역전파

• 시그모이드의 함수 미분값은 정규분포 그래프 함수와 비슷함

최대화의 역전파

• 최대인 값만 아웃그래디언트 받음

전개의 역전파

• 한개의 인풋에 두가지 신경망을 거쳐서 다시 합쳐지는 값에 대한 역전파