활성화 함수란
인공 신경망에서 활성화 함수는 입력값을 변환하여 출력값을 생성하는 함수이다. 활성화 함수에는 선형 활성화 함수와 비선형 활성화 함수가 있다. 인공 신경망에서는 비선형 활성화 함수를 사용하는 것이 일반적이다. 왜냐하면 선형 활성화 함수를 사용할 경우, 여러 층을 쌓아도 결국 선형 변환이 되므로 복잡한 비선형 함수를 표현할 수 없기 때문이다.
선형 활성화 함수
선형 활성화 함수는 입력값에 대해 일정한 비율로 변환되는 함수이다. 즉, 입력값과 출력값 사이에 선형적인 관계가 존재하는 것이다. 예를들어 f(x) = 2x와 같은 함수가 선형 활성화 함수이다.
비선형 활성화 함수
비선형 활서오하 함수는 비선형적인 형태를 가지며, 신경망이 복잡한 비선형 함수를 근사할 수 있도록 도와준다. 대표적인 비선형 활성화 함수로는 ReLU, 시그모이드, 소프트맥수 등이 있다.
ReLU
ReLU는 Rectified Linear Unit의 약자로, 딥러닝에서 가장 많이 사용되는 활성화 함수 중 하나이다.
ReLU 함수는 입력값이 0보다 크면 입력값을 그대로 출력하고, 0보다 작으면 0을 출력하는 함수이다. 수식으로 나타내면 f(x) = max(0, x)로 표현할 수 있다.
ReLU 함수는 다른 활성화 함수들과 비교했을 때, 연산 속도가 빠르고 ㄱ현이 쉬우며, 신경망의 성능도 매우 우수하다. 특히 과적합을 방지하고, 희소성을 가진 입력 데이터의 경우 더욱 뛰어난 성능을 보인다.
하지만 입력값이 음수인 경우에는 출력값이 0이 되기 때문에, 뉴런이 활성화 되지 않아 학습이 멈추는 문제가 발생할 수 있다. 이러한 문제를 해결하기 위해 LeakyReLU, PReLU, ELU 등의 변형된 ReLU 함수들을 사용할 수 있다.
Sigmoid
Sigmoid 함수는 하나의 입력에 대해 0과 1사이의 연속된 값을 출력한다. 입력값이 크면(입력값이 다른 변수에 비해 더 큰 영향을 미치면) 출력값이 1에 가까워지고, 입력값이 작으면 출력값이 0에 가까워진다. 따라서 이 함수는 이진분류(Binary Classification)문제의 출력층으로 사용될 수 있다.
Sigmoid 함수는 출력값이 0또는 1에 수렴할 때, 기울기가 0에 가까워진다. 이러한 형상은 역전파 과정에서 기울기 소실(Vanishing gradient)이라는 문제를 발생시킬 수 있다.
Softmax
Softmax 함수는 다중 클래스 분류(Multi-class Classfication) 문제의출력층에서 사용된다. 이 함수는 모든 출력값의 합이 1이 되도록 각 클래스에 대한 *정규화(Normalization)하는 역할을 한다. 즉, 입력값이 어떤 클래스에 속할 확률을 출력한다. 이 함수는 다중 클래스 분류에서 활성화 함수로 가장 많이 사용되는 함수 중 하나이다.
*정규화(Normalization) : 데이터의 스케일(scale)을 일정하게 맞추어 학습을 원활하게 하고, 모델의 성능을 향상시키기 위한 방법 중 하나
