ReLU function
ReLU는 최근에 주로 사용하게 된 활성함수의 하나!
입력이 0이 넘으면 그 입력을 그대로 출력하고, 0이하면 0을 출력하는 함수이다.
(sigmoid는 신경망 분야에서 오래전부터 이용했던 함수)
수식은 다음과 같이 나타낼 수 있다.
수식
구현
def relu(x):
return np.maximum(0, x)numpy의 maximum을 사용해서 두 입력 중 큰 값을 선택해 반환하는 함수이다.
ReLU는 최근에 주로 사용하게 된 활성함수의 하나!
입력이 0이 넘으면 그 입력을 그대로 출력하고, 0이하면 0을 출력하는 함수이다.
(sigmoid는 신경망 분야에서 오래전부터 이용했던 함수)
수식은 다음과 같이 나타낼 수 있다.
def relu(x):
return np.maximum(0, x)numpy의 maximum을 사용해서 두 입력 중 큰 값을 선택해 반환하는 함수이다.
