스터디노트 (Tensorflow 2)

자동 미분

• tf.GradientTape

tf.GradientTape는 컨텍스트(context) 안에서 실행된 모든 연산을 테이프(tape)에 "기록".

그 다음 텐서플로는 후진 방식 자동 미분(reverse mode differentiation)을 사용해 테이프에 "기록된" 연산의 그래디언트를 계산합니다.

• 자동미분 컨트롤 하기!

  • tf.Variable만 기록 합니다!
  • A variable + tensor 는 tensor를 반환
  • trainable 조건으로 미분 기록을 제어

# A trainable variable
x0 = tf.Variable(3.0, name='x0')

# Not trainable
x1 = tf.Variable(3.0, name='x1', trainable=False)

# Not a Variable: A variable + tensor returns a tensor.
x2 = tf.Variable(2.0, name='x2') + 1.0

# Not a variable
x3 = tf.constant(3.0, name='x3')

with tf.GradientTape() as tape:
    y = (x0**2) + (x1**2) + (x2**2)

grad = tape.gradient(y, [x0, x1, x2, x3])

for g in grad:
    print(g)

• watched_variables() : 기록되고 있는 variable 확인하기

💻 출처 : 제로베이스 데이터 취업 스쿨