활성화 함수 종류
이진 계단 함수(Binary step function)
임계점을 설정하고 그 임계점을 넘으면 1(혹은 True) 넘지 않으면 0(혹은 False)를 출력한다.
선형 활성화 함수 (Linear actiavation function)
선형 함수는 직선 함수를 의미한다. 굴곡 없이 곧게 뻗은 직선을 생각하면 좋다.
예를들어 f(x)=x 함수처럼 곧은 직선 함수를 생각하면 된다.
선형 함수는 여러번 f(g(h(k(x)))) 사용된다고 하더라도 다른 하나의 선형 함수 o(x)로 표현이 가능하기 때문에 그 한계가 명확하고 비선형적인 특성을 지닌 데이터를 예측하지 못한다.
비선형 활성화 함수 (None-linear activation function)
비선형 활성화 함수를 사용하면 역전파(back-propagation) 알고리즘을 사용할 수 있고, 다중 출력과 비선형적 특성을 지닌 데이터도 소화할 수 있다.
시그모이드(sigmoid) 함수
대표적인 S 곡선을 갖는 함수로 로지스틱(logistic)도 이와 같은 모양을 갖는다.
0 < σ(x) < 1 의 특성으로 확률 예측하는 경우 사용된다.
하이퍼볼릭 탄젠트(tanh) 함수
S 곡선을 갖으며 -1 < tanh(x) < 1의 특성을 갖는다.
렐루 함수
계산이 빠르고, 기울기 소실 문제(Gradient Vanishing Problem)가 덜 발생할 수 있다.
그러나 출력을 0으로만 하게 되어 노드가 죽어버려 업데이트가 되지 않는 문제가 있다. 학습률(learning rate)를 크게 잡을 경우 자주 발생하여, 학습률을 줄여준다면 이러한 문제가 덜 발생한다.
Dying ReLU 문제를 해결하기 위해 Leaky ReLU, PReLU, ELU 등이 있다.
선형 함수 확인법.
작성중...
함수 V가 W로 변환(Transformation)..
가산성 과 동차성 두 가지를 만족한다.
- 가산성 : 모든 x, y가 함수
V의 원소일 때,T(x+y) = T(x) + T(y) - 동차성 : 모든 x가 함수
V의 원소이고, c는 정수일 때,T(cx) = cT(x)
Come in here