# Weight Initialization

총 3개의 포스트

Ai_D68

기울기값을 얼만큼 경사하강법에 적용할 지 결정하는 hyperparameter 입니다. 학습률(learning rate)를 조절하여 기울기 값을 조정할 수 있습니다. 그 결과, 모델 성능을 효율적으로 개선할 수 있습니다.(global minima를 효율적으로 찾을 수

BiasLearning RateOptimaizerVarianceWeight InitializationXavieradamdropoutearly stoppingscheduling
2022년 2월 24일
·
0개의 댓글
post-thumbnail

[Aiffel] 아이펠 33일차 개념 정리 및 회고

1. 딥러닝 개념 정리 2. cs231n 6강 정리 3. 회고

Batch NormalizationELULeaky ReLuPReLuReLUTanhVanishing gradientWeight Initializationcross-validatoingrid searchrandom searchsigmoid가중치 초기화국비교육딥러닝아이펠파이썬퍼셉트론활성화 함수
2022년 2월 13일
·
0개의 댓글

Weight initialization

인공신경망 학습기법에 관한 연구가 활발해지면서 학습속도를 개선하고 100개 넘는 레이어를 쌓는 일도 쉽게 할 수 있게 되었다. 가중치를 어떻게 초기화하냐에 따라 gradient vanishing/exploding을 막으면서 학습을 진행할 수 있다.

Neural NetWeight Initialization
2021년 7월 7일
·
0개의 댓글