# transfer learning
Transfer Learning
https://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html
[PyTorch] Transfer Learning
참고 사이트cs231n에서 말하는 전이학습(무작위 초기화를 통해) 맨 처음부터 합성곱 신경망(Convolutional Network) 전체를 학습하는 사람은 매우 적다. 충분한 크기의 데이터셋을 갖추기는 실제로 드물기 때문이다.하지만 매우 큰 데이터셋(ex. 100가지
Transfer learning
오늘날 딥러닝 분야에서 주요하게 연구되는 주제가 있습니다. 바로 Transfer Learning(전이 학습)입니다.Transfer Learning(전이 학습) 이란?:학습 데이터가 부족한 분야의 모델 구축을 위해 데이터가 풍부한 분야에서 훈련된 모델을 재사용하는 학습
[2022 arXiv] What Makes Transfer Learning Work For Medical Images: Feature Reuse & Other Factors
1. Overview medical imaging에 딥러닝을 적용할때, ImageNet과 같은 큰 사이즈의 오픈 데이터셋으로부터 transfer learning을 시도하는 것은 de-facto approach가 되었다. source domain의 feature들이 재
[GPT-2] Language Models are Unsupervised Multitask Learners
GPT-1의 마지막 파트를 살펴보면 pretrain된 모델이 downstream task에 대해 학습되지 않은 상태에서 각 태스크에 대해 어느 정도의 성능을 보이는지 측정한 파트가 있다. 매우 단순하게 pretrain이 실제로 다양한 downstream task를 수행
Transfer learning and Pre-trained Models 활용
일반적으로 딥러닝 모델을 제대로 훈련시키려면 많은 수의 데이터가 필요하다. 하지만 현실에서는 충분히 큰 데이터셋을 얻는 것은 쉽지 않은 일이다. 데이터
[NLP] Natural Language Inference
인공지능 분야 공부를 하며 NLP에 대한 관심이 생겨 원티드 프리온보딩 AI/ML 에 참가하게 되었습니다. Natural Language Inference 문제 정의 task가 해결하고자 하는 문제가 무엇인가? hypoth
[2022 국민대학교 겨울 인공지능 특강] 4주차 5일 학습 내용
Image crawling딥러닝 모델을 훈련시키려면 데이터가 많이 필요하다. 인터넷에서 특정 이미지를 1만개 이상 다운받기에는 시간이 너무 오래걸리고, 그렇다고 컴퓨터에 저장된 이미지 데이터를 회전하거나 반전하는 등으로 변형을 해서 데이터 증식(data augmenta
[2022 국민대학교 겨울 인공지능 특강] 4주차 4일 학습 내용
이번 시간엔 CIFAR10이라는 이미지 분류 데이터셋을 다뤘다. airplane, automobile, bird, car, deer, dog, frog, horse, ship, truck 이 10개의 클래스로 분류되는 32x32 크기의 60,000개의 이미지 데이터로
[TIL] Transfer learning
2016년 NIPS에서 Andrew Ng이 미래에는 Transfer learning이 훨씬 더 중요해질 것이라고 예언을 하였다. Transfer learning이 중요해진 이유는 더 짧은 시간에 적은 데이터의 양으로 학습을 진행할 수 있기 때문에 실무에서는 많이 쓰고
[D&A 운영진 딥러닝 스터디] 3주차 2차시
이미지 분류 모델을 측정하기 위한 데이터로 가장 많이 사용하는 데이터셋2만 개 이상의 클래스와 약 1400만장의 이미지로 구성ILSVRC(ImageNet Large Scale Visual Recognition Challenge) 대회에서 사용Yann LeCun 교수가
DL - Transfer Learning
정말 간단히 이야기 하자면,특정분야에서 학습된 신경망 모델을 사용하여 유사하거나 새로운 모델을 만들 때학습을 빠르게 더 하며, 예측율을 더 높이는 방법입니다.복잡한 모델일수록 학습시키기 어렵고, 시간이 오래 걸립니다.그렇기 때문에 처음부터 학습시키는 것 보다 미리 생성
[정리] Clinical AI: Low Resource Technique, Tasks, Survey, Research, Data, Model, ...
정리 : Low Resource Technique(Data Augmentation), Representation, Survey, Model, Data, Other Technique.
transfer learning
구조: 훈련된 합성곱 기반 층 -> 훈련된 분류기 라고 하면, 훈련시키기 빠르다는 장점이 있지만, end-to-end 컴파일을 하지 않는 이상, 데이터 증식을 사용하지 못하기 때문에 과대적합될 수 있다.위와 같은 코드를 통해 합성곱 기반층 전체를 freezing 시켜
음식 스타일 분류 모델 만들기
transfer learning, fine tuning을 공부하면서 imagenet 기반으로 학습된 모델들이 개미, 강아지를 잘 학습시키는 것은 확인했다. 하지만 실제로 imagenet 기반이 아니거나 내가 원하는 데이터에 모델을 사용하고 싶을 때 어떻게 해야할지 실제
Transfer-Learning vs Fine-tuning vs Domain-Adaptation
Using Transfer Learning you should freeze some layers, mainly the pre-trained ones and only train in the added ones,In Transfer Learning or Domain Ada
[논문 리뷰] Deep learning enabled semantic communication systems - 3편
DL 기반 E2E 통신 시스템 + NLP의 semantic level 전송 = Text 전송을 위한 DL 기반 semantic communication system! (Simulation 결과 분석)
[논문 리뷰] Deep learning enabled semantic communication systems - 2편
DL 기반 E2E 통신 시스템 + NLP의 semantic level 전송 = Text 전송을 위한 DL 기반 semantic communication system! (DeepSC 구조 설명)
[paper-review] EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
Tan, M., & Le, Q. (2019, May). Efficientnet: Rethinking model scaling for convolutional neural networks.