# dropout
[딥러닝] 전이학습
전이학습이란? > * 전이학습 정의 : 한 설정에서 학습한 것을 다른 설정의 일반화를 개선하기 위해 활용 하는 것 소스과제에서 습득한 지식을 타깃 과제 학습 시 추가로 입력 전이학습 방법 딥러닝 시스템은 전통적인 머신러닝 시스템보다 더 많은 훈련 시간과 데이터의 양이 필요 다양한 최첨단의 딥러닝 네트워크가 컴퓨터 비전 및 자연어 처리(NLP)와 같은 영...
[NLP #3] SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP, 2021)
한줄 요약: unlabeled or labeled data 모두에서 setence embedding 뽑을 수 있다? Paper: https://aclanthology.org/2021.emnlp-main.552/Code: https://github.co
[혁펜하임의 AI DEEP DIVE] 체험단 후기
안녕하세요 양콩공입니다 !!!!!!!! 인사를 드린 포스팅은 처음인 것 같아요😊 저는 작년에 빅데이터 개발자 과정 국비를 수강하면서 마지막에 추천 시스템 딥러닝 공모전에 참여하게 되었습니다! 🤞그때 딥러닝 관련 기초 개념들에 대해 국비 교육으로 이해하기에는 한계가
논문 분석: Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning
오늘은 스터디원이 발표 예정인 논문을 직접 읽어보려고 한다. 기본적으로 알고가야할 부분인거 같다. uncertainty의 유형 Out of distribution test data 한번도 학습할 때 사용하지 못한 유형의 데이터가 테스트 시 사용되는 경우 Ex) 여러
CS231n Lecture 7
Lecture 7은 성능을 올리기 위한 여러 방법들을 알려준다.가장 기본 Gradient Descent 이며 mini-batch 단위로 끊어서 loss를 계산하고 parameters를 업데이트 한다.gradient 방향이 굉장히 크게 튀기 때문에 Zigzag path로
[딥러닝] Dropout: A Simple Way to Prevent Neural Networks from Overfitting
Dropout 리뷰
딥 러닝5 - tensorflow_datasets
<svg xmlns="http://www.w3.org/2000/svg" height="24px"viewBox="0 0 24 24" width="24px">
[딥러닝 기초개념] Dropout
네트워크의 유닛의 일부만 동작하도록하고, 일부는 동작하지 않도록 하는 방법이다.dropout은 1. 오버피팅을 방지하기 위한 방법 중 하나이며, hidden layer의 일부 유닛을 동작하지 않게 하는 것이다.hidden layer에 드롭아웃을 확률 p로 적용할 때,
Ai_D68
기울기값을 얼만큼 경사하강법에 적용할 지 결정하는 hyperparameter 입니다. 학습률(learning rate)를 조절하여 기울기 값을 조정할 수 있습니다. 그 결과, 모델 성능을 효율적으로 개선할 수 있습니다.(global minima를 효율적으로 찾을 수
[D&A 운영진 딥러닝 스터디] 2주차 1차시
올바른 순서대로 학습을 진행최초 입력값으로부터 각 층마다 존재하는 가중치와 연산하고 활성화 함수를 통과하는 과정을 순서대로 이어나가 최종 layer까지 계산한 후 실제 label과 오차를 계산하는 것반대 방향으로 학습을 진행순전파에서 계산한 오차를 기반으로 기울기를 사
Over fitting vs. Under fitting
과대적합일정 epoch 동안 validation set이 최고점을 찍고 감소하는 경향과소적합test set의 성능이 향상될 여지가 있을 때 발생원인모델이 너무 단순규제가 너무 많을 때충분히 오래 훈련하지 않은 경우과대적합 및 과소적합 방지적절한 epoch로 훈련과대적합
Attention-based Dropout Layer for WSOL 논문 리뷰
Attention based Dropout Layer→ self-attention mechanismhiding the most discriminative parthighlighting the informative region for improving the recogn
Regularization(L2 Regularization, Dropout)
이번 글에서는 정규화(Regularization)에 대해 알아보겠다.만약 우리가 가지고 있는 데이터가 그렇게 크지 않다면, overfitting이 될 가능성이 크기 때문에 overfitting되지 않게 하기 위해 Regularization을 꼭 해줘야 한다.왜 정규화가
Drop-Out :: Overfitting의 새로운 해결방안
Fitting 이란? 모델의 학습 적합도를 의미한다. 충분한 학습이 되지 못해, 적합도가 떨어지는 모델을 Underfitting이 된 상태라고 의미하며, 너무 train dataset에 과적합되어있는 경우를 Overfitting이라고 한다.Overfitting의 문제