# dropout
[딥러닝 기초개념] Dropout
네트워크의 유닛의 일부만 동작하도록하고, 일부는 동작하지 않도록 하는 방법이다.dropout은 1. 오버피팅을 방지하기 위한 방법 중 하나이며, hidden layer의 일부 유닛을 동작하지 않게 하는 것이다.hidden layer에 드롭아웃을 확률 p로 적용할 때,
Ai_D68
기울기값을 얼만큼 경사하강법에 적용할 지 결정하는 hyperparameter 입니다. 학습률(learning rate)를 조절하여 기울기 값을 조정할 수 있습니다. 그 결과, 모델 성능을 효율적으로 개선할 수 있습니다.(global minima를 효율적으로 찾을 수
[D&A 운영진 딥러닝 스터디] 2주차 1차시
올바른 순서대로 학습을 진행최초 입력값으로부터 각 층마다 존재하는 가중치와 연산하고 활성화 함수를 통과하는 과정을 순서대로 이어나가 최종 layer까지 계산한 후 실제 label과 오차를 계산하는 것반대 방향으로 학습을 진행순전파에서 계산한 오차를 기반으로 기울기를 사
Over fitting vs. Under fitting
과대적합일정 epoch 동안 validation set이 최고점을 찍고 감소하는 경향과소적합test set의 성능이 향상될 여지가 있을 때 발생원인모델이 너무 단순규제가 너무 많을 때충분히 오래 훈련하지 않은 경우과대적합 및 과소적합 방지적절한 epoch로 훈련과대적합
Attention-based Dropout Layer for WSOL 논문 리뷰
Attention based Dropout Layer→ self-attention mechanismhiding the most discriminative parthighlighting the informative region for improving the recogn
Regularization(L2 Regularization, Dropout)
이번 글에서는 정규화(Regularization)에 대해 알아보겠다.만약 우리가 가지고 있는 데이터가 그렇게 크지 않다면, overfitting이 될 가능성이 크기 때문에 overfitting되지 않게 하기 위해 Regularization을 꼭 해줘야 한다.왜 정규화가
Averaging Weights Leads to Wider Optima and Better Generalization (2018) / SWA 논문리뷰
한줄요약: 모델 앙상블 시 대상 모델의 prediction값들을 averaging 하지 말고 모델들의 weight를 averaging 하자. \[paper]AbstractIntroductionRelated WorkStochastic Weight AverageExperi
Drop-Out :: Overfitting의 새로운 해결방안
Fitting 이란? 모델의 학습 적합도를 의미한다. 충분한 학습이 되지 못해, 적합도가 떨어지는 모델을 Underfitting이 된 상태라고 의미하며, 너무 train dataset에 과적합되어있는 경우를 Overfitting이라고 한다.Overfitting의 문제
[AI] AlexNet (1) 논문 읽기
유명 논문을 야매로 읽어보za - 내 맘대로 논문 정리 요약하기 (ㅎ_ㅎ) 알렉스가 만들어서 알렉스넷ㅋ 장난 하나, 장난 둘, 장난 셋, 장난 넷