[Machine Learning] 활성함수 activation function

Merlin Kim·2023년 10월 5일

DL Deep Learning ML activation function machine learning 기계학습 머신러닝 활성함수

machine learning

목록 보기

4/4

활성함수 activation function

활성함수는 ANN의 출력 결과 값을 변환하여 다른 뉴런에 전달하는 역할을 합니다.

활성함수는 ANN의 출력값을 다른 뉴런에 전달한다는게 이해가 안갈수도 있습니다.
왜 변환하여 전달할까요? 왜 값을 변환하여야만 할까요?

활성함수의 이해

y = ax + b == f(x) = ax + b

라는 1차 방정식이 있습니다.
그래프로 그리면 아래와 같이 나타납니다.

만약에 저함수에 f(x) = ax라는 활성함수를 도입해보겠습니다.

import numpy as np
import matplotlib.pyplot as plt
m = 2  # 기울기
b = 1  # y 절편
x = np.linspace(-10, 10, 100)  # -10에서 10까지 100개의 점 생성
y = m * x + b
y2 = m * y 
plt.figure(figsize=(8, 6))  # 그래프 크기 설정
plt.plot(x, y, label=f'y = {m}x + {b}', color='b')  # 첫 번째 그래프 그리기
plt.plot(y, y2, label=f'y2 = {m}y + {b}', color='r')  # 두 번째 그래프 그리기
plt.xlabel('x 축')  # x 축 레이블
plt.ylabel('y 축')  # y 축 레이블
plt.title('1차 방정식 그래프')  # 그래프 제목
plt.legend()  # 범례 표시
plt.grid(True)  # 그리드 표시
plt.show()

결국 선이 서로 겹치고 말았습니다....
그러면 수식으로 확인해봐요

1계층 f(x) = ax
2계층 f(f(x)) = a(ax)
3계층 f(f(f(x))) = a(a(ax)) = a^3*x

결국 선이 계속 겹치게 됩니다.

그러면 비선형 함수로 모아 보겠습니다.

보아하니 값이 변화하였습니다.

만약에 선형 함수가 활성함수로 계속 이어진다면 결국 1계층 ANN과 다름 없습니다.
하지만 비선형 함수를 사용한다면 값이 변화하여 좀더 많은 값을 분류하거나 여러 사고를 할수 있는 계층을 쌓을수 있게 됩니다.

그렇기에 활성함수는 비선형 함수가 되어야합니다.

활성함수의 종류

일단, 활성 함수의 종류를 보도록 합시다.
1. 계단 함수, step function
2. 시그모이드, sigmoid function
3. 하이퍼볼릭 탄젠트, Hyperbolic tangent
4. 렐루, ReLU
5. Leaky 렐루, Leaky ReLU
6. ELU, Exponential Linear Unit

계단 함수, Step Function

def step_function(x):
    return np.where(x <= 0, 0, 1)

계단 함수는 0 or 1으로 표현됩니다.
임계값이상이면 1 임계값 미만이면 0 으로 나타나는 함수입니다.
그러한 점으로 비선형으로 함수를 바꿀수 있지만, 데이터 누실이 될 가능성이 높습니다.

시그모이드 함수, Sigmoid function

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

시그모이드 함수는 완만한 선형의 형태를 가지고 있습니다.
그렇기에 계단 함수보다는 데이터 누실이 적습니다.
허나, 0에서 1이라는 작은 범위를 가지기에 입력값이 클수록 출력값이 0에 수렴하게 됩니다.
그러면 역전파를 하는 과정에서 기울기가 0이 되어버리는 기울기소실의 문제가 발생하게 됩니다.

하이퍼볼릭 탄젠트 함수 Tanh,Hyperbolic Tangent

하이퍼볼릭탄젠트 함수는 시그모이드 함수의 진화형으로 보면 좀더 쉽게 다가 갈수 있습니다.
시그모이드 함수보다는 좀더 많은 범위값 (-1에서 1까지)의 범위를 가지기에 시그모이드 함수보단 기울기소실에 대한 영향이 적은 편입니다.
하지만 아직 기울기 소실이 해결되지는 않은 함수입니다.