# Weight Initialization

jsleeg98

Pytorch에서 모델을 처음부터 학습할 때 weight는 어떤 값으로 초기화되어있을까?

dannialism

기울기값을 얼만큼 경사하강법에 적용할 지 결정하는 hyperparameter 입니다. 학습률(learning rate)를 조절하여 기울기 값을 조정할 수 있습니다. 그 결과, 모델 성능을 효율적으로 개선할 수 있습니다.(global minima를 효율적으로 찾을 수

gongsam

1. 딥러닝 개념 정리 2. cs231n 6강 정리 3. 회고

iissaacc

인공신경망 학습기법에 관한 연구가 활발해지면서 학습속도를 개선하고 100개 넘는 레이어를 쌓는 일도 쉽게 할 수 있게 되었다. 가중치를 어떻게 초기화하냐에 따라 gradient vanishing/exploding을 막으면서 학습을 진행할 수 있다.