# cuda
Torch's Breath on Github
퇴사한 직후, 필자는 이런저런 공부를 하면서 그리고 조금 쉬기도 하면서 이직 준비를 하려고 했는데 ... 최근 4~5일 전부터 Github를 만들게 되었다. KDT AI 때부터 'Github 해야지'를 무한 되뇌이며 미루다가 최근에서야 만들고 있다. 가장 먼저 만든
Better Performance at Lower Occupancy
일반적 주장:멀티프로세서에 더 많은 쓰레드를 올리자블록에 더 많은 쓰레드를 올리자왜냐면 이게 레이턴시를 숨기는 유일한 방법이니까!하지만 아래 두 개념은 잘못되었음멀티쓰레딩이 GPU에서 레이턴시를 숨기는 유일한 방법이다공유메모리가 레지스터만큼 빠르다레이턴시 숨김 (Hid
CUDA Warps and Occupancy
SM은 streaming multi-processor with multiple processing cores각 SM은 32개의 프로세스 코어를 가짐.Single Instruction Multiple Thread (SIMT) 개념으로 실행됨최대 16개의 SM (현재는?)
GPU에 맞는 CUDA 버전 확인
https://www.wikiwand.com/en/CUDA위 사이트에서 자신의 GPU에 해당하는 Compute capability (version) 찾기예를 들어 자신의 GPU가 8.6 SDK version이면, 11.1~12.0의 CUDA를 설치하는 것이 가
[우분투/리눅스] 우분투 20.04 CUDA 11.3, CuDNN 8.2.1 설치
1-1. CUDA 확인$ sudo apt-get purge nivida$ sudo apt-get autoremove$ sudo apt-get autoclean$ sudo rm -rf /usr/local/cuda$ sudo apt-get install dkms nvid
CUDA, CuDNN 설치
현재 PC(또는 PC내 가상환경)에 설치된 Tensorflow 버전을 확인한다Tensorflow 공식 홈페이지에서 설치된 Tensorflow 버전과 호환되는 CUDA, CuDNN 버전을 확인한다https://www.tensorflow.org/install/so
pytorch 설치하기
1. 공식 홈페이지 들어가기 2. 컴퓨터 사양 및 희망하는 옵션 선택 ** GPU사용 시 본인의 CUDA 버전 확인하는 법 아나콘다 프롬트에서 nvidia-smi 주피터 랩에서 !nvidia-smi 출력 결과 3. Command 실행
Nvidia CUDA install
CUDA를 설치하기 위해서는 아래의 링크에서 사용하고자 하는 CUDA version을 다운로드 한다.NVIDIA CUDA Toolkit Archive.다음과 같이 실행하면 아래와 같은 결과를 볼 수 있다.Continue 선택 후 Enteraccept 입력 후 Enter
[토치의 호흡] 02 CLASSIFICATION
: 두 번째로 기본적인 CLASSIFICATION 문제를 풀어보려고 한다. Torchvision에서 CIFAR10 데이터를 사용해보도록 한다. EDA, PREPROCESSING 모두 생략 -> BASIC FLOW에 익히는 것이 목적가장 중요 데이터의 Shape 추적은
Conda와 gitbash를 이용한 CUDA 설치법
Terminal 응용conda 가상환경을 설정 한 뒤conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidiaconda install -c anaconda cudnnexport
can’t convert cuda:0 device type tensor to numpy 해결
gpu에 올라가 있는 것을 이용한 연산을 시도해서 생긴 에러
[토치의 호흡] 01 REGRESSION
INTRO : 처음에 가장 부담없는 REGRESSION 문제를 풀어보려고 한다. SCIKIT-LEARN에서 CALIFORNIA HOUSING 데이터를 사용해보도록 한다. EDA, PREPROCESSING 모두 생략 -> BASIC FLOW에 익히는 것이 목적
토치의 호흡: RISE OF TORCH
2022년 이어드림과정에서 LM으로서, 수강생분들의 Pytorch의 Basic Flow를 익히는 데 도움을 줄 수 있도록, '토치의 호흡'을 운영했다. 그 때 당시에 필자 스스로도 공부를 많이 했다. 수강생분들에게 최대한 정확하고 많은 것을 알려드리기 위해서 말이다.
CUDA Out Of Memory 관련 팁
CUDA out of memory 관련 이슈 팁들 한국 파이토치 포럼: https://discuss.pytorch.kr/t/cuda-out-of-memory/216/6 공식 github issue(성지? 라고 함): https://github.com/pytorch/pytorch/issues/16417 +) torch.cuda.empty_cache() ...
CUDA 설치
cmd에서 nvidia-smi cuda-version 확인 후 맞는 버전 설치 필자의 경우 Geforce GTX 1070 Ti (그래픽카드 장치관리자에서 디스플레이어댑터 항목으로 가능)cuda toolkit 11.7 downloads 구글 검색 후 설치cuDNN 은 D
CUDA custom C++ extensions 개발
Plenoxel을 건드리는 과정에서 생전 접한적 없던 CUDA C를 이용한 custom CUDA kernel을 수정, 개발하게 되었음.사실 작업 시작한지 좀 돼서 기본적인 공부는 자료정리 없이 읽어보고 만져보고 시행착오를 반복한 끝에 어느정도 된 것 같은데 지금부터라도