# activation function

seokwon99

Hidden layer(은닉층) activation function Hyperbolic tangent function Hidden layer에서 사용 sigmoid 보단 gradient vanishing이 개선되었지만 relu 가 더 많이 쓰임 Relu func

code_hsb

Training Neural Network 이 파트의 목적은 활성화 함수 개념 정리가 아닌 전처리 및 가중치 초기화시 문제점 정리이다. > #### 활성화 함수 정리 시그모이드 Z centered 하지 않은 문제 ${dL \over dθ} \times {d

skkumin

활성화 함수의 사용 이유: 활성화 함수는 이전 층의 output값을 함수에 적용시켜 다음 층의 뉴런으로 신호를 전달한다. 활성화 함수가 필요한 이유는 모델의 복잡도를 올리기 위함인데 모델의 복잡도를 올리는 이유는 비선형 문제를 해결하기 위해서이다. perceptr

tieck

PyTorch 스터디 교재 : Dive Into Deep Learning 진행 방식 해당 주차의 스터디 범위 학습 정해진 순번대로 발표 (개인적 목표: 매회 발표 자원하기!) 스터디 과정에서 학습 내용을 정리하였다. Ch 3.1 3.1. 선형 회귀(Linear

gongsam

1. 딥러닝 개념 정리 2. 회고

developerkerry

다중 클래스 분류 문제에 사용되는 Softmax 함수의 수식과 구현, 오버플로우 방지 대책, 특징을 소개한다.

glee623

활성화 함수 swish

iissaacc

어떤 연구에서는 Swish, 또 다른 연구에서는 SiLU로 불린다. activation function 연구는 활발하게 이루어지지만 어떤 과제에서 잘 되는 함수가 다른 과제에서는 잘 안 되는 게 많아서 자주 쓰이는 건 한정적이다.

gabie0208

The two key ideas of deep learning for computer vision, convolutional neural networks and backpropagation were already well understood in 1989. The Lo

hyunsuki

Activation Fuction 공부해야만 하는거야🤨❔ Deep Learning 관련 공부를 하다보면 대부분 activation function는 relu, Optimizer는 adam, loss(cost) fuction categorical_crossentropy

iissaacc

생물이 가진 뉴런은 인공신경망보다 훨씬 복잡하게 작동한다. 그 중 '활성화'에 대한 이야기를 하려고 한다.

joo4438

퍼셉트론 복습, 활성화 함수의 정의, 활성화 함수 종류 및 구현(계단함수, 시그모이드, ReLU)