ResNet에서 제기한 문제점은 layer가 깊은 모델은 train 성능이 낮아진다는 것임. (train데이터 조차도 이해 못함,overfitting과는 다른 문제_) skip connection(short cut)이 그래디언트 소실(VGP)을 막는 이유 활성화 함수 tanh 나 sigmoid를 사용하면 VGP가 더 심해짐 내 수준에서 수식으로 설명하기 어렵지만 보통 그래디언트 소실이 생기는 이유는 chain rule 때문이다. 0.5 x 0.5 = 0.25 -> 0.5 x 0.25 = 0.125 와같이 lay

행렬은 선형변환 행렬은 크기와 방향(고윳값 , 고유벡터)로 나눌 수 있음. 고윳값,고유벡터 (Eigen Value, Eigen Vector) 선형변환(A)를 할 때 크기만 변하고 방향이 변하지 않는 벡터 Eigen value & vector 특징 방향x , 크기만 갖는다. 고유벡터 방향으로 얼마나 큰지를 의미 고윳값이 큰 순서대로 고유벡터를 정렬하면 PCA의 주성분을 구할 수 있음 정보량이 많으므로 고윳값이 복소수라면 회전의 의미 고윳값 개수 = Rank Eigen Decomposition(고윳값 분해) ![](https://velog.velcdn.com/images/minki853/post/da68808e-2b