연쇄 법칙
합성 함수
여러 함수로 구성된 함수
예를 들어 z = (x + y)^2은
- z = t^2
- t = x + y
두 개의 식으로 구성됨
‘'' 합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다 ’''
이것이 연쇄 법칙의 원리
'dz/dx'는 'x에 대한 z의 미분값'함수 'z'를 'x'에 대해 미분한 결과
chain rule은 합성 함수 미분법의 성질을 말한다. 합성 함수를 미분할 때 꼬리에 꼬리를 물며 겉함수에서 속함수를 곱하는 과정을 거치는데 이를 chain이라 표현한 것
겉미분*속미분
합성 함수 f를 x에 대해 미분하는 과정
이 합성 함수의 미분 과정을 수식으로 표현하면 다음과 같다.
z함수를 x에 대해 미분한 결과는 z함수를 y에 대해 미분한 결과와 y함수를 x에 대해 미분한 결과를 곱하여 구할 수 있다는 것이 핵심
출처 : 딥러닝) 오차 역전파 backpropagation , 연쇄법칙 chain rule , 기울기 효율적으로 구하기
연쇄 법칙과 계산 그래프
순전파와는 반대 방향으로 국소적 미분을 곱하여 전달한다
계산 그래프의 역전파 결과에 따르면 x에대한 z의 미분(delta(z)/delta(x))은 2(x+y)가 된다
역전파
덧셈 노드의 역전파
z = x + y 라는 식을 대상으로 역전파를 살펴본다
우선, z = x + y 의 미분은 다음과 같이 해석적으로 계산 가능함
이를 계산 그래프로는 다음처럼 그릴 수 있음
덧셈 노드의 역전파 : 왼쪽이 순전파, 오른쪽이 역전파. 덧셈 노드의 역전파는 입력값을 그대로 흘려보낸다
최종 출력으로 가는 계산의 중간에 덧셈 노드가 존재. 역전파에서는 국소적 미분이 가장 오른쪽의 출력에서 시작하여 노드를 타고 역방향(왼쪽)으로 전파됨
곱셈 노드의 역전파
곱셈 노드의 역전파는 상류의 값에 입력 신호들을 서로 바 값을 곱해 하류로 보냄
덧셈과 달리 곱셈 노드 구현시에는 순전파의 입력 신호를 변수에 저장해 둠
사과 쇼핑의
