# transfer learning
[CV] Training Technique
Data AugmentationLeveraging pre-trained informationLeveraging unlabed dataset for trainingTraining set과 Real data distribution간에는 gap이 존재한다. Train set
KT 에이블스쿨 31일차(1)
오늘은 시각지능\_딥러닝 3일차로 CNN복습과 모델 저장, InceptionV3 모델 가져오기, YOLO를 실습해보았습니다.kernel_size는 필터의 사이즈입니다. 근데 코드 작성시 kernel_size = (3,3)이런식으로 필터의 크기만 작성했는데 원래는 dep
[CS231n] Lecture 7: Training Neural Networks II 정리
Stanford University CS231n Lecture 7
[AAAI 22] Design of Explainability Module with Experts in the Loop for Visualization and Dynamic Adjustment of Continual Learning
2가지 어려움 1\. 새롭게 수집된 novelties에 continual learning에 방해가 되는 anomalies를 포함할 수 있음.\-> anomalies는 업데이터 대상으로 볼 것이 아니라, filtering 할 수 있어야 함.2\. continual lea
[ECCV 2018] Memory aware synapses Learning what (not) to forget
기존의 Continual Learning은 2가지 task 사이에서 수행되거나, 여유로운 model의 capacity에서 수행됨.반면, 실생활에서는 제한된 capacity에서 여러가지 task가 계속해서 주어지는 상황을 수행해야 함. 이전 task들에 대해 model이
[논문리뷰] Universal Language Model Fine-tuning for Text Classification (2018)
제목: Universal Language Model Fine-tuning for Text Classification (2018) 링크: https://arxiv.org/abs/1801.06146 기존의 NLP 방식은 task-specific한 설정과 tr
[2020 Signal Processing] Multi-Layer Domain Adaptation Method for Rolling Bearing Fault Diagnosis
1) 기존 고장 진단을 위한 방법은 훈련과 테스트 데이터가 동일한 분포를 따른다는 가정 하에 수행됨. \- 그러나 실제 상황에서는 Domain-Shift 때문에 해당 가정이 성립하지 않음. \- 이는 일반화 능력을 저하시킴. 2) 타겟 도메인에서 유효한 레이블
[2017 CVPR] Adversarial Discriminative Domain Adaptation (3867회 인용)
\-> robust한 네트워크 훈련 가능\-> 복잡한 샘플 생성 가능\-> domain distribution간의 차이 줄일 수 있고, 일반화 가능함.\-> 설득력 있는 시각화 보여주지만, 작은 shift만 다룰 수 있음.\-> 큰 shift를 처리할 수 있지만, 모델
[2022 PMLR] Domain Adaptation for Time Series Forecasting via Attention Sharing (8회 인용)
시계열 예측 모델의 효과는 충분한 양의 데이터가 있는 경우에만 나타남. 따라서 데이터 부족 문제에 대처하기 위해 새로운 Domain Adaptation 프레임워크인 DAF(Domain Adaptation Forecast)를 제안함. DAF는 풍부한 데이터 샘플(Sour
[논문 리뷰] Domain Adaptation for Time Series Forecasting via Attention Sharing
최근 딥러닝을 활용한 시계열 예측에 관한 연구가 활발히 진행되고 있다. 이러한 연구의 이점은 충분한 양의 데이터가 있는 경우에만 나타나기 시작하기 때문에 이는 시계열 또는 시계열당 관측치 수가 제한되어 있는 일반적인 예측 문제에 대한 Challenge가 있음을 뜻한다
Transfer learning & fine-tuning
Introduction: 한 문제에 대해 학습된 피쳐를 구성하고, 새롭고 유사한 문제에 활용하는 것으로 구성된다. 예를 들면, 호랑이를 식별하는 방법을 배운 모델의 기능은 고양이를 식별하기 위한 모델을 시작하는 데 유용하다. ✅ transfer learning은 일반적
[kaggle] - 병든 잎사귀 식별
캐글의 병든 잎사귀 식별 경진대회 'Plant Pathology 2020 - FGVC7' compeition에 참가해 여러 딥러닝 모델 성능 향상 기법을 연습해보았다.여러 잎사귀 사진을 보고, 딥러닝 모델을 활용해 잎사귀가 어떤 질병에 걸렸는지 식별하는 다중분류 문제이
Transfer Learning에 대해 알아보자
강아지와 고양이를 구분하는 딥러닝 모델을 구축하려고 할 때, 많은 데이터가 필요하다.그러나 보통 데이터셋이 적음…. → 데이터셋의 크기가 적으면 학습이 잘 안됨이 때 어떻게 딥러닝 모델을 구축할 수 있을까?그에 대한 해답!ImageNet 데이터를 미리 학습해 놓은 딥러
[Tensorflow]전이학습(Transfer Learning)과 미세조정(Fine-tuning)
전이학습이란 이미 학습되어 제공되는 모델을 활용하는 방법으로, 모델을 그대로 사용하지는 않고 모델의 feature extractor 부분만 사용하고 estimator는 다르게 사용하는 방법을 의미한다.쉽게 말해서 개/고양이 분류 모델이 이미 학습까지 되어 제공되었을 때
Transfer Learning
https://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html
[PyTorch] Transfer Learning
참고 사이트cs231n에서 말하는 전이학습(무작위 초기화를 통해) 맨 처음부터 합성곱 신경망(Convolutional Network) 전체를 학습하는 사람은 매우 적다. 충분한 크기의 데이터셋을 갖추기는 실제로 드물기 때문이다.하지만 매우 큰 데이터셋(ex. 100가지
Transfer learning
오늘날 딥러닝 분야에서 주요하게 연구되는 주제가 있습니다. 바로 Transfer Learning(전이 학습)입니다.Transfer Learning(전이 학습) 이란?:학습 데이터가 부족한 분야의 모델 구축을 위해 데이터가 풍부한 분야에서 훈련된 모델을 재사용하는 학습
[2022 arXiv] What Makes Transfer Learning Work For Medical Images: Feature Reuse & Other Factors
1. Overview medical imaging에 딥러닝을 적용할때, ImageNet과 같은 큰 사이즈의 오픈 데이터셋으로부터 transfer learning을 시도하는 것은 de-facto approach가 되었다. source domain의 feature들이 재