Multi Instance GPU 사용하여 CUDA 어플리케이션 [실행]

컴순이·2023년 9월 12일
0

https://docs.nvidia.com/datacenter/tesla/mig-user-guide/

CUDA DEVICE을 적용할 어플리케이션을 선택해서 MIG로 실행할 수 있다.
MIG 디바이스를 많이 만들었어도 하나의 CUDA 프로세스는 하나의 MIG 디바이스를 이용한다.

CUDA는 CI와 부모 GI를 하나의 CUDA 디바이스로 취급한다. 여러 개의 CI가 보이면 첫 번째 CI를 선택한다.

  • CUDA는 하나의 CI만 셀 수 있다.
  • 다른 GPU에서 CI를 봤으면 non-MIG GPU를 찾지 않는다.

CUDA_VISIBLE_DEVICES에 MIG 단위로 추가할 수 있다.
드라이버 버전이 R470이상 (nvidia-smi)이면, 'MIG-'로 시작하는 UUID(nvidia-smi -L)를 추가한다.

no hang up으로 프로세스 실행

nohup bash -c "CUDA_VISIBLE_DEVICES=MIG-[UUID] python [실행 파일].py" > ~/[출력  저장 경로]/[출력 로그 파일 이름] &
tail -f [출력 로그 파일 이름]
profile
음음

1개의 댓글

comment-user-thumbnail
2023년 10월 18일

컴순이님 안녕하세요. 저도 국비코딩을 수강하면서 내용들을 찾아보다가 우연히 블로그에 들어오게 되었어요. 같이 화이팅해요. 화이팅

답글 달기