활성화 함수

ReLU

• 입력 값이 0 이하의 값은 0으로 처리하고, 0보다 큰 값에 대해서는 출력 값을 그대로 출력
  

Leaky ReLU

• ReLU와 같은 방식으로 동작하지만 0보다 작은 입력 값에 대해 작은 기울기를 허용하여 뉴런이 훈련 중 완전히 비활성화되지 않도록 합니다.
  

Sigmoid / Softmax

• 두 가지의 활성화 함수 모두 입력 값을 0~1사이의 출력 값으로 변환
• softmax는 출력 값의 합이 1이 되도록 계산하는 과정이 포함됨
• $softmax = \frac{e^{z_i}}{\Sigma^K_{j=1}e^{z_j}}$
  

Hyperbolic Tangent

• 입력 값을 -1 ~ 1사이의 출력 값으로 변환
• $f(x) = \frac{e^x-e^{-x}}{e^x+e^{-x}}$