📊 이진 분류 활성화 함수

---

📌 Sigmoid 함수

• Sigmoid 함수
  0.5를 기준으로 0 또는 1로 분류
  
  
• 문제점
  - 베니싱 기울기 문제로 인해 학습 성능 떨어짐
  - 입력값의 감소 및 증가로 인해 기울기가 0에 수렴하게 되어 소멸됨 -> 분류 X
  - 학습 속도 저하

---

📌 HypericTanh 함수

• HypericTanh 함수
  0을 기준으로 -1 ~ 1 사이의 출력값으로 분류
  
  
• 특징
  - 입력값이 작아질수록 출력값이 0에 수렴
  - 입력값이 커질수록 출력값이 1에 수렴
  - 입력값의 감소 및 증가로 인해 기울기는 0에 수렴
  - 시그모이드의 학습 속도 저하 문제를 중심값 0으로 두어 해결
  
  
• 문제점
  - 베니싱 기울기 문제 발생

---

📊 다중 분류 활성화 함수

---

📌 Softmax 함수

• Softmax 함수
  시그모이드 함수를 일반화한 함수이며 0과 1사이의 값으로 분류
  
  
• 특징
  - 0 < 출력값 < 1
  - 출력값 총합 = 1
  - 다중 클래스 분류에 사용

---

📌 ReLU 함수

• ReLU 함수
  입력값이 0이하일 때 출력값은 0, 입력값이 0보다 클 때는 출력값 = x
  
  
• 특징
  - 학습 속도 빠름
  - 연산 비용 저렴
  - 구현 간단
  
  
• 문제점
  - Dying ReLU : 입력값이 0일 때, 기울기가 0이므로 기울기가 해당 뉴런이 죽는 문제

---

📌 leaky ReLU 함수

• leaky ReLU 함수
  입력값 < 0 => [출력값 ax], 입력값 > 0 => [출력값 1]
  
  
• 특징
  - ReLU보다 성능 높음
  - 입력값이 0일 때 기울기가 0이 되지 않아 해당 뉴런이 죽지 않는다.

---

📌 PReLU 함수

• PReLU 함수
  입력값 < 0 => [출력값 ax], 입력값 > 0 => [출력값 x]
  
  
• 특징
  - 각 레이어마다 적절한 a를 학습할 수 있다.

---

📌 ELU 함수

• ELU 함수
  출력값의 중심이 거의 0에 가깝다.
  
  
• 특징
  - Dying ReLU 문제 해결
  
  
• 문제점
  - 연산 비용 큼

---