# Vanishing gradient

총 6개의 포스트
post-thumbnail

Problem Setting and Regularization

training을 하기 위해서 결정해야 할 것들이 정말 많지만 각 hyperparameter 사이에 dependency가 있기 때문에 guess가 매우 어렵다. 그렇기 때문에 실제로 machine learning은 굉장히 반복적인 작업이다. Dataset 좋은 cho

BiasData augmentationK-fold Cross ValidationNormalizingRegularizationVanishing gradientVariancedatasetdropout regularizationearly stoppingexploding gradienthigh biashigh variancehyperparameternormalizeoverfittingregularization parameterunderfittingweight decay
2022년 4월 17일
·
0개의 댓글
post-thumbnail

Activation Functions

Activation Functions logistic regression에서 linear transformation 결과에 적용한 non-linear transformation인 sigmoid함수가 activation function에 해당된다. activation f

Activation FunctionsDeep LearningELULeaky ReLuNeural NetworkPReLuReLUTanhVanishing gradientsigmoid
2022년 4월 16일
·
0개의 댓글
post-thumbnail

[Aiffel] 아이펠 33일차 개념 정리 및 회고

1. 딥러닝 개념 정리 2. cs231n 6강 정리 3. 회고

Batch NormalizationELULeaky ReLuPReLuReLUTanhVanishing gradientWeight Initializationcross-validatoingrid searchrandom searchsigmoid가중치 초기화국비교육딥러닝아이펠파이썬퍼셉트론활성화 함수
2022년 2월 13일
·
0개의 댓글

[Aiffel] 아이펠 27일차 개념 정리 및 회고

1. 딥러닝 개념 정리 2. 회고

CNNResnetVGGVanishing gradientskip connectiontop-1top-5국비교육기울기 소실딥러닝아이펠파이썬
2022년 2월 4일
·
0개의 댓글
post-thumbnail

모두를 위한 딥러닝 시즌 1 :: ML lec 10

Activation Function Activation Function : 특정 값을 넘어가거나 도달하면,

ReLUVanishing gradientsigmoid모두를 위한 딥러닝 시즌1
2021년 7월 12일
·
0개의 댓글
post-thumbnail

[CS224n] Lecture 7 - Vanishing Gradients And Fancy RNNs

작성자 : 투빅스 13기 최혜빈 > Contents Vanishing gradient problem LSTM GRU More fancy RNN variants Vanishing gradient problem Remark) Backpropagation for RNNs

BPTTBidirectional RNNGRUGradient ClippingLSTMMulti-layer RNNNLPRNNVanishing gradientcs224n
2020년 12월 31일
·
0개의 댓글