# PyTorch

938개의 포스트
post-thumbnail

PyTorch 레이어별 GPU 시간 측정 방법

PyTorch에서 레이어별로 GPU 연산시간 측정하는 방법입니다.본 글은 Torch Profiler를 사용하지 않고, time 모듈과 register_forward_pre_hook, register_forward_hook 함수를 사용합니다.코드이러한 코드를 실행했을 때

31분 전
·
0개의 댓글
·
post-thumbnail

[PyTorch/에러 해결] RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:1 and cuda:0! (when checking argument for argument weight in method wrapper__cudnn_convolution)

Pretrained 된 VGG16 Model의 Feature Map과 U-Net에서 나온 feature map을 concat 하고 self-attention 연산을 할때 에러가 났다. 간단하게 그림으로 표현하면 아래와 같다.VGG16에서 얻은 feature map들을

2일 전
·
0개의 댓글
·
post-thumbnail

M1 Part 15 [torch 2.0] "the kernel appears to have died. it will restart automatically"

가끔 jupyter notebook에서 간단하게 이것저것 코딩을 할 때가 있다. 최근에 Pytorch 2.0 (Stable)과 Lightning 2.0이 동시에 같은 날에 런칭했다. 그래서 필자는 conda 가상환경을 싹 다 밀어버리고 최근에 다 다시 설치를 진행했다.

2일 전
·
0개의 댓글
·

pytorch: 딥러닝 모델 결과 재현을 위한 seed 고정하는 법

모델을 학습하다보면 결과를 재현할 일이 생겨요. 그럴 경우 어떻게 하면 재현을 할 수 있을지 알아볼게요! > 모델 결과 재현 하는 방법은 아래 코드 처럼 seed를 설정 해주면 돼요. > DataLoader도 seed 설정을 해줘야 해요. > ### 참고 http

2일 전
·
0개의 댓글
·
post-thumbnail

Rearrange layer

torch.py Rearrange

2일 전
·
0개의 댓글
·
post-thumbnail

[PyTorch] Distributed Sampler in evaluation

Multi-GPU 환경에서 PyTorch 학습을 진행할 때 DP(Data Parallel) 혹은 DDP(Distributed Data Parallel)을 사용하게 된다. 파이토치의 공식 DDP 문서에 따르면 Single Machine에서 Multi-GPU 환경으로 학

3일 전
·
0개의 댓글
·

pytorch: model의 module 이름 list를 얻는 법

학습을 하다보면 가끔씩 모델의 모듈 이름이 필요할 때가 있어요.그래서 오늘은 모델의 모듈 이름을 얻는 방법에 대해서 알아봐요.먼저, 필요한 모델을 만들어요.resnet18을 예로 들어볼게요.Sequential 안에 있는 하위 모듈 이름까지 얻고 싶은 경우Sequenti

4일 전
·
0개의 댓글
·
post-thumbnail

파이토치 딥러닝 마스터_CH3

lets PyTorch

4일 전
·
0개의 댓글
·

[PyTorch] Custom Loss Function 사용하기

모델 학습 과정에서, 기존의 손실 함수가 아닌 다른 손실 함수를 사용하고 싶을 경우가 있다.이럴 때는 아래 예시와 같은 방법을 사용해보자.학습 시에 GPU를 사용하기 위해서는 모델뿐만 아니라 텐서도 GPU에 올려야한다는 것을 기억하자.

5일 전
·
0개의 댓글
·

[PyTorch] Dataset, DataLoader 직접 사용하기

학습을 시키다보면, 데이터를 어떻게 먹이는가 는 중요한 요소이다.데이터셋의 크기가 크다보니 모든 데이터를 메모리에 올리고 학습을 진행하면Out of Memory라는 무시무시한 문구를 보게 되기 때문이다.이를 위해서 데이터셋을 쪼개서 학습을 진행하는 배치 학습을 진행하고

5일 전
·
0개의 댓글
·
post-thumbnail

파이토치 딥러닝 마스터_CH2

lets PyTorch

5일 전
·
0개의 댓글
·
post-thumbnail

파이토치 딥러닝 마스터_3장

3장에서 배울 내용은 바로 ~! 1.파이토치 기본 자료구조인 텐서를 이해한다. 2.텐서를 인덱스로 접근해서 연산한다. 3.다차원 배열 넘파이와 연계해서 다루기 ! 지금 바로 공부해보자 ~!

6일 전
·
0개의 댓글
·

[MLOps] Machine Learning 개요

Play Data 2023/03/20 Machine Learning 기초

6일 전
·
0개의 댓글
·

training은 loss는 줄어드는데 validation은 안 줄어드는 경우

같은 데이터를 validation session에 넣어본다. (training data를 training session과 validation session 둘 다에 넣어본다)validation loss가 줄어들 경우: validation code에는 문제가 없다 : 모

6일 전
·
0개의 댓글
·
post-thumbnail

파이토치 딥러닝 마스터_2장

사전 훈련된 신경망 모델 3가지를 확인해보자 ! - 사전 훈련된 이미지 인식 모델 돌려보기 - GAN 과 사이클 GAN 을 소개 - 이미지에서 텍스트 설명을 만들어낼 수 있는 자막 모델

2023년 3월 19일
·
0개의 댓글
·
post-thumbnail

파이토치 딥러닝 마스터_CH1

lets pytorch

2023년 3월 18일
·
0개의 댓글
·
post-thumbnail

부스트캠프 AI Tech 5기 2주차 [PyTorch]

부스트캠프 AI Tech 5기 2주차 [PyTorch]

2023년 3월 17일
·
0개의 댓글
·

Transfer learning & Hyper Parameter Tuning 실습

이번 실습에서는 이전에 배운 transfer learninig과 hyperparameter Tuning을 학습해본다. Transfer Learning 모델생성 imageNet에서 학습된 resnet18을 전이하여 mnist데이터를 분류하는 모델을 만들기 Mnist D

2023년 3월 17일
·
0개의 댓글
·