활성함수

입력값과 가중치를 내적한 값을 다음 신경망으로 보낼때 얼마나 증폭/감쇄 할지 결정해주는 활성함수

여러타입의 활성함수 형태가 있는데
학습과정에서 그래디언트 계산상 문제가 발생

• logistic sigmoid, tanh sigmoid 같은 경우 미분값을 보면 양 끝단에서 그래디언트 값이 0값이 되버리는 문제가 발생
  그래디언트가 0이 되면 가중치가 변화하지 않음
• ReLU는 이런 문제를 해결해줌