# activation function
[딥러닝] Activation function
Hidden layer(은닉층) activation function Hyperbolic tangent function Hidden layer에서 사용 sigmoid 보단 gradient vanishing이 개선되었지만 relu 가 더 많이 쓰임 Relu func

딥러닝 PART.CS231n 6강
Training Neural Network 이 파트의 목적은 활성화 함수 개념 정리가 아닌 전처리 및 가중치 초기화시 문제점 정리이다. > #### 활성화 함수 정리 시그모이드 Z centered 하지 않은 문제 ${dL \over dθ} \times {d

Neural Network 활성화 함수(Activation Function)
활성화 함수의 사용 이유: 활성화 함수는 이전 층의 output값을 함수에 적용시켜 다음 층의 뉴런으로 신호를 전달한다. 활성화 함수가 필요한 이유는 모델의 복잡도를 올리기 위함인데 모델의 복잡도를 올리는 이유는 비선형 문제를 해결하기 위해서이다. perceptr

선형 회귀에서 배우는 학습의 구성요소
PyTorch 스터디 교재 : Dive Into Deep Learning 진행 방식 해당 주차의 스터디 범위 학습 정해진 순번대로 발표 (개인적 목표: 매회 발표 자원하기!) 스터디 과정에서 학습 내용을 정리하였다. Ch 3.1 3.1. 선형 회귀(Linear
Swish function
어떤 연구에서는 Swish, 또 다른 연구에서는 SiLU로 불린다. activation function 연구는 활발하게 이루어지지만 어떤 과제에서 잘 되는 함수가 다른 과제에서는 잘 안 되는 게 많아서 자주 쓰이는 건 한정적이다.

1.3 Why deep learning? Why now?
The two key ideas of deep learning for computer vision, convolutional neural networks and backpropagation were already well understood in 1989. The Lo

Activation Function(활성화 함수)
Activation Fuction 공부해야만 하는거야🤨❔ Deep Learning 관련 공부를 하다보면 대부분 activation function는 relu, Optimizer는 adam, loss(cost) fuction categorical_crossentropy

딥러닝 - 활성함수 (Activation function)
퍼셉트론 복습, 활성화 함수의 정의, 활성화 함수 종류 및 구현(계단함수, 시그모이드, ReLU)