# Weight Initialization

4개의 포스트
post-thumbnail

pytorch에서 weight initialization 기본값

Pytorch에서 모델을 처음부터 학습할 때 weight는 어떤 값으로 초기화되어있을까?

2023년 1월 26일
·
0개의 댓글
·

Ai_D68

기울기값을 얼만큼 경사하강법에 적용할 지 결정하는 hyperparameter 입니다. 학습률(learning rate)를 조절하여 기울기 값을 조정할 수 있습니다. 그 결과, 모델 성능을 효율적으로 개선할 수 있습니다.(global minima를 효율적으로 찾을 수

2022년 2월 24일
·
0개의 댓글
·

Weight initialization

인공신경망 학습기법에 관한 연구가 활발해지면서 학습속도를 개선하고 100개 넘는 레이어를 쌓는 일도 쉽게 할 수 있게 되었다. 가중치를 어떻게 초기화하냐에 따라 gradient vanishing/exploding을 막으면서 학습을 진행할 수 있다.

2021년 7월 7일
·
0개의 댓글
·