nn.init의 주요 기능 정리
input tensor를 uniform distribution(a,b범위에서 모든 값이 균일한 분포)로 초기화
nn.init.uniform_(input,a=0.0,b=0.1)input tensor를 N(mean,str^2)의 정규분포에 따라 초기화
nn.init.normal_(input,mean=0.0,std=0.1)input tensor를 val값으로 채운다.
nn.init.constant_(input,val)input tensor를 스칼라 1로 채운다.
nn.init.ones_(input)input tensor를 스칼라 0으로 채운다.
nn.init.zeros_(input)input tensor(2차원)를 단위 행렬로 채운다.
nn.init.eye_(input)input tensor를 xavier 초기값으로 U(-a, a)의 균일분포를 갖는다.
nn.init.xavier_uniform_(input,gain=1.0)
input tensor가 xavier초기값으로 N(0,std^2)의 분포를 갖는다.
nn.init.xavier_normal_(input,gain=1.0)
input tensor가 He초기값으로 U(-bound,bound)의 균일분포를 갖는다.
nn.init.kaiming_iniform_(input, mode='fan_in', nonlinearity='leaky_relu')
input tensor가 He초기값으로 N(0,std^2)의 정규분포를 갖는다.
nn.init.kaiming_normal_(input, mode='fan_in', nonlinearity='relu')
파라미터들의 default값
CS | ML | DL