# dropout

14개의 포스트
post-thumbnail

[딥러닝 기초개념] Dropout

네트워크의 유닛의 일부만 동작하도록하고, 일부는 동작하지 않도록 하는 방법이다.dropout은 1. 오버피팅을 방지하기 위한 방법 중 하나이며, hidden layer의 일부 유닛을 동작하지 않게 하는 것이다.hidden layer에 드롭아웃을 확률 p로 적용할 때,

2022년 4월 3일
·
0개의 댓글

Ai_D68

기울기값을 얼만큼 경사하강법에 적용할 지 결정하는 hyperparameter 입니다. 학습률(learning rate)를 조절하여 기울기 값을 조정할 수 있습니다. 그 결과, 모델 성능을 효율적으로 개선할 수 있습니다.(global minima를 효율적으로 찾을 수

2022년 2월 24일
·
0개의 댓글
post-thumbnail

[임베디드] 레귤레이터

레귤레이터의 종류에 대해서 알아봅니다.

2022년 2월 22일
·
0개의 댓글

[D&A 운영진 딥러닝 스터디] 2주차 1차시

올바른 순서대로 학습을 진행최초 입력값으로부터 각 층마다 존재하는 가중치와 연산하고 활성화 함수를 통과하는 과정을 순서대로 이어나가 최종 layer까지 계산한 후 실제 label과 오차를 계산하는 것반대 방향으로 학습을 진행순전파에서 계산한 오차를 기반으로 기울기를 사

2022년 1월 11일
·
0개의 댓글
post-thumbnail

Over fitting vs. Under fitting

과대적합일정 epoch 동안 validation set이 최고점을 찍고 감소하는 경향과소적합test set의 성능이 향상될 여지가 있을 때 발생원인모델이 너무 단순규제가 너무 많을 때충분히 오래 훈련하지 않은 경우과대적합 및 과소적합 방지적절한 epoch로 훈련과대적합

2021년 11월 16일
·
0개의 댓글
post-thumbnail

Attention-based Dropout Layer for WSOL 논문 리뷰

Attention based Dropout Layer→ self-attention mechanismhiding the most discriminative parthighlighting the informative region for improving the recogn

2021년 10월 1일
·
0개의 댓글
post-thumbnail

Regularization(L2 Regularization, Dropout)

이번 글에서는 정규화(Regularization)에 대해 알아보겠다.만약 우리가 가지고 있는 데이터가 그렇게 크지 않다면, overfitting이 될 가능성이 크기 때문에 overfitting되지 않게 하기 위해 Regularization을 꼭 해줘야 한다.왜 정규화가

2021년 8월 24일
·
0개의 댓글
post-thumbnail

Averaging Weights Leads to Wider Optima and Better Generalization (2018) / SWA 논문리뷰

한줄요약: 모델 앙상블 시 대상 모델의 prediction값들을 averaging 하지 말고 모델들의 weight를 averaging 하자. \[paper]AbstractIntroductionRelated WorkStochastic Weight AverageExperi

2021년 7월 25일
·
0개의 댓글

Dropout

"parameter 4개로 코끼리 모양도 구현하겠다. 5개로는 코도 움직일 걸?" - 폰 노이만

2021년 7월 11일
·
0개의 댓글

딥러닝 overfitting

Artificial Neural Network

2021년 6월 10일
·
0개의 댓글
post-thumbnail

Drop-Out :: Overfitting의 새로운 해결방안

Fitting 이란? 모델의 학습 적합도를 의미한다. 충분한 학습이 되지 못해, 적합도가 떨어지는 모델을 Underfitting이 된 상태라고 의미하며, 너무 train dataset에 과적합되어있는 경우를 Overfitting이라고 한다.Overfitting의 문제

2021년 5월 17일
·
0개의 댓글
post-thumbnail

[AI] AlexNet (1) 논문 읽기

유명 논문을 야매로 읽어보za - 내 맘대로 논문 정리 요약하기 (ㅎ_ㅎ)                                                                      알렉스가 만들어서 알렉스넷ㅋ 장난 하나, 장난 둘, 장난 셋, 장난 넷

2021년 5월 12일
·
0개의 댓글