# gpu
CuPy 소개
CuPy는 파이썬으로 GPU 가속 계산을 위한 오픈 소스 배열 라이브러리이다. CuPy는 GPU 아키텍처를 온전히 사용하기 위하여 cuBLAS, cuRAND, cuSOLVER, cuSPARSE, cuFFT, cuDNN과 NCCL를 포함하는 CUDA 개발용 라이브러리이다
Python 프로세스를 종료시켜도 GPU Memory를 반환하지 않고, nvidia-smi에 process ID가 나오지 않을 때 해결
Pytorch의 DDP를 사용하던 중, 학습을 종료시키고자 Ctrl+C를 입력하여 프로세스를 종료하였다. 그러나 GPU Memory를 반환하지 않았으며, Process를 Kill하기 위해 nvidia-smi 또는 ps 명령어를 이용하려고 했다.1\. nvidia-smi
GCP 선점형 VM 도입기
배경 클라우드 플랫폼은 우리가 데이터센터를 구축하지 않아도 앉아서 1분 안에 컴퓨팅 노드를 생성, 네트워크 설정 등 여러가지 다양한 기능을 제공해준다. 그러나 주의해서 서비스를 설계하지 않으면 많은 비용이 발생한다. 내가 운영하고 있는 ML 기반 서비스의 경우 워
GPU 환경 세팅 (cuda, cudnn)
GPU : NVIDIA GeForce RTX 3060환경 : Window참고알맞는 cuda버전은 'nvidia 3060 cuda'등으로 구글링을 통해 찾았다. 내 GPU(NVIDIA GeForce RTX 3060)에 맞는 버전은 다음과 같았다.cuda : 11.7cud
aws cpu만 잡기
두 달 전 팀 프로젝트를 진행할 당시, aws 서버에 제가 구현한 딥러닝 코드를 업로드하고 테스트해야 했습니다.만든 CNN 모델을 h5 파일로 저장시켜서 aws 서버에 올리고불러와서 테스트 하려는데,,, 처음 보는 에러 발생...보시면 아시겠지만, 신경망 알고리즘을 불
Noise in Shaders
Fragment Shader에 noise를 추가하는 법에 대해 알아볼것이다.먼저 우리는 noise를 추가하기 위해선 noise전 렌더링할 모델의 좌표, 즉 texture이 필요하게 된다.그렇기에 우리는 이 챕터에선 여러개의 pass 와 FBO을 사용함을 명심하자Nois
net.to(device) vs net.cuda()
두가지 방법으로 GPU에 모델을 올리는 방법과 차이점,그리고 어떤 코드를 작성하면 좋을지에 대한 글.
[error] couldn't communicate with the NVIDIA driver
분명 어제까지만해도 잘 동작했는데 오디오렌더기 오류로 리붓했더니 갑자기 듀얼모니터 중 하나가 안들어온다..!최근 cuda쓴적도 없는데 ㅠㅠ.. 혹시몰라 nvidia-smi 찍어보니까 에러가뜬다.18.04때는 이런 일 생기면 putty들어가고 블랙리스트추가하고 여러가지
가우시안 필터
우리가 정갈하게 앞머리를 짜르기 위해서는 삐죽나와있는 머리카락을 보통 보이는 머리카락과 길이와 맞게 짜르는 것처럼 (비유가 적절한가..) 가우시안 필터도 마찬가지로 평균적인 값보다 뛰어넘는 값들을 정리하기 위해 쓰이는 필터입니다. 이는 가우시안 블러의 식이며 한 픽
Edge Filter
오늘은 edge 경계 부분을 찾는 필터에 대해서 알아볼것입니다!먼저 우리가 상식적으로 생각해본다면 사물의 경계는 어떻게 찾을까요?저라면,, 주변의 값보다 어떤 특별한 값을 갖는 부분을 사물의 경계라고 가정할 것입니다!edge 필터는 각각의 픽셀의 변화값 (미분값!) 을
[error] CUDA out of memory
서버에 모델을 올리고 학습하려던 중 낯선 에러가 떴다.메모리가 부족하다길래 확인해봤다.음? 전혀 부족한 것 없는데..?열심히 구글링을 해봤지만 해결되는 것은 없었다. 그러던 중 문득 든 생각 하나.당시 이미지 분류 대회를 하며 베이스라인 코드를 변경하고 있었는데 이미지
AWS EC2 Docker GPU 환경 구성
AWS EC2 안에서 Docker로 딥러닝 GPU 환경 구성 과정에서 발생한 ERROR 해결 과정을 기록합니다.
[kubernetes] k8s gpu - nvidia device plugin 설치, 예제 테스트
Nvidia GPU가 장착된 서버/PC 환경의 Kubernetes 에서 GPU 인식, 사용Kubernetes 에서 Nvidia GPU 를 사용하는 Application yaml 테스트https://github.com/NVIDIA/nvidia-dockernvid
[Linux] gpu 사용량 확인하기
모델링시 gpu가 제대로 동작하는지, 사용량이 얼마나 되는지 확인하기 위해 주로 사용한다.위의 코드를 실행하면 0.5초마다 갱신되는 실시간 gpu사용량을 확인할 수 있다.tmux의 window에서 실행시켜두고 필요할 때마다 확인하면 편리하다(코드를 외우지 않아도 된다.
[딥러닝]CUDA로 딥러닝 모델 빨리 학습하기
상황 : 오늘도 파이참을 켜서 평화롭게 딥러닝 모델을 학습시키려는데, 아니이게 무슨일인가 cpu로 돌렸더니 너무 느리다. gpu를 사용하면 텐서플로우(TF) 연산을 빠르게 할 수 있다고 하여 cuda를 깔아서 딥러닝에 gpu 사용하는 방법을 정리하기로 하였다.나의 TF
Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False. If you are running on a CPU-only machine, please use torch.load with map_location=torch.device('cpu') to map your storages to the CPU.
GPU로 학습하여 저장한 모델 전체를 cpu로 불러오니 에러가 발생하였다. 코드를 다음과 같이 변경하여 불러오니 해결되었다.모델 저장하기 & 불러오기 - PyTorch Tutorials 1.10.2+cu102 documentation