# PyTorch
PyTorch 레이어별 GPU 시간 측정 방법
PyTorch에서 레이어별로 GPU 연산시간 측정하는 방법입니다.본 글은 Torch Profiler를 사용하지 않고, time 모듈과 register_forward_pre_hook, register_forward_hook 함수를 사용합니다.코드이러한 코드를 실행했을 때
[PyTorch/에러 해결] RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:1 and cuda:0! (when checking argument for argument weight in method wrapper__cudnn_convolution)
Pretrained 된 VGG16 Model의 Feature Map과 U-Net에서 나온 feature map을 concat 하고 self-attention 연산을 할때 에러가 났다. 간단하게 그림으로 표현하면 아래와 같다.VGG16에서 얻은 feature map들을
M1 Part 15 [torch 2.0] "the kernel appears to have died. it will restart automatically"
가끔 jupyter notebook에서 간단하게 이것저것 코딩을 할 때가 있다. 최근에 Pytorch 2.0 (Stable)과 Lightning 2.0이 동시에 같은 날에 런칭했다. 그래서 필자는 conda 가상환경을 싹 다 밀어버리고 최근에 다 다시 설치를 진행했다.
pytorch: 딥러닝 모델 결과 재현을 위한 seed 고정하는 법
모델을 학습하다보면 결과를 재현할 일이 생겨요. 그럴 경우 어떻게 하면 재현을 할 수 있을지 알아볼게요! > 모델 결과 재현 하는 방법은 아래 코드 처럼 seed를 설정 해주면 돼요. > DataLoader도 seed 설정을 해줘야 해요. > ### 참고 http
[PyTorch] Distributed Sampler in evaluation
Multi-GPU 환경에서 PyTorch 학습을 진행할 때 DP(Data Parallel) 혹은 DDP(Distributed Data Parallel)을 사용하게 된다. 파이토치의 공식 DDP 문서에 따르면 Single Machine에서 Multi-GPU 환경으로 학
pytorch: model의 module 이름 list를 얻는 법
학습을 하다보면 가끔씩 모델의 모듈 이름이 필요할 때가 있어요.그래서 오늘은 모델의 모듈 이름을 얻는 방법에 대해서 알아봐요.먼저, 필요한 모델을 만들어요.resnet18을 예로 들어볼게요.Sequential 안에 있는 하위 모듈 이름까지 얻고 싶은 경우Sequenti
[PyTorch] Custom Loss Function 사용하기
모델 학습 과정에서, 기존의 손실 함수가 아닌 다른 손실 함수를 사용하고 싶을 경우가 있다.이럴 때는 아래 예시와 같은 방법을 사용해보자.학습 시에 GPU를 사용하기 위해서는 모델뿐만 아니라 텐서도 GPU에 올려야한다는 것을 기억하자.
[PyTorch] Dataset, DataLoader 직접 사용하기
학습을 시키다보면, 데이터를 어떻게 먹이는가 는 중요한 요소이다.데이터셋의 크기가 크다보니 모든 데이터를 메모리에 올리고 학습을 진행하면Out of Memory라는 무시무시한 문구를 보게 되기 때문이다.이를 위해서 데이터셋을 쪼개서 학습을 진행하는 배치 학습을 진행하고
파이토치 딥러닝 마스터_3장
3장에서 배울 내용은 바로 ~! 1.파이토치 기본 자료구조인 텐서를 이해한다. 2.텐서를 인덱스로 접근해서 연산한다. 3.다차원 배열 넘파이와 연계해서 다루기 ! 지금 바로 공부해보자 ~!
training은 loss는 줄어드는데 validation은 안 줄어드는 경우
같은 데이터를 validation session에 넣어본다. (training data를 training session과 validation session 둘 다에 넣어본다)validation loss가 줄어들 경우: validation code에는 문제가 없다 : 모
파이토치 딥러닝 마스터_2장
사전 훈련된 신경망 모델 3가지를 확인해보자 ! - 사전 훈련된 이미지 인식 모델 돌려보기 - GAN 과 사이클 GAN 을 소개 - 이미지에서 텍스트 설명을 만들어낼 수 있는 자막 모델
Transfer learning & Hyper Parameter Tuning 실습
이번 실습에서는 이전에 배운 transfer learninig과 hyperparameter Tuning을 학습해본다. Transfer Learning 모델생성 imageNet에서 학습된 resnet18을 전이하여 mnist데이터를 분류하는 모델을 만들기 Mnist D