[GCP] VM 인스턴스 생성, 삭제, 시작, 중단 Python 코드

들어가며

• GCP에서 VM 인스턴스를 생성, 삭제, 시작, 중단할 때 콘솔이 아닌 Python 코드를 활용하고자 함
• 생각보다 bottleneck이 있었음
  • google에서 제공해주는 documentation이 복잡
  • 콘솔에 대응하는 특정 값을 표기하는 방식을 찾기 어려움
    • e.g. 균형있는 영구디스크 = ?
• GCP 자동화와 관련하여 코드 정리는 현재 해당 깃레포에서 진행중

헷갈렸던 내용들 정리

google cloud cli 준비

• VM 인스턴스를 생성, 중단, 시작, 삭제하려면 우선적으로 google cloud cli가 필요
• 참고 링크: https://cloud.google.com/sdk/docs/install?hl=ko#linux

curl -O https://dl.google.com/dl/cloudsdk/channels/rapid/downloads/google-cloud-cli-478.0.0-linux-x86_64.tar.gz # 각자 버전에 맞게 설치
tar -xf google-cloud-cli-478.0.0-linux-x86_64.tar.gz
./google-cloud-sdk/install.sh

인증하기

• VM 인스턴스를 생성, 중단, 시작, 삭제할 권한이 있음을 증명하기 위해 인증 필요

gcloud init
gcloud auth application-default login

gpu 이름과 머신 유형 찾기

• 참고 링크: https://cloud.google.com/compute/docs/gpus?hl=ko
• GPU 유형은 "projects/{PROJECT_ID}/zones/{ZONE}/acceleratorTypes/{GPU_TYPE}"과 같이 작성

부팅 디스크 옵션 찾기

• 참고 링크: https://cloud.google.com/compute/docs/disks?hl=ko
• 디스크 유형은 "zones/{ZONE}/diskTypes/{cfg.disk.disk_type}"과 같이 작성

부팅 디스크 이미지 옵션

• 참고 링크: https://cloud.google.com/deep-learning-vm/docs/images?hl=ko
• 개인적으로 Ubuntu, Debian 등 일반 이미지가 아닌 Deep Learning VM Image를 활용
  • nvidia-docker, docker, cuda, google cloud sdk 등이 미리 설치되어 있어 편리
• "projects/deeplearning-platform-release/global/images/common-cu121-v20240514-debian-11-py310"와 같이 작성

compute_v1 Class 설명

• 참고 링크: https://cloud.google.com/python/docs/reference/compute/latest
• 어떤 클래스가 어떤 인자를 사용하는지를 확인할 수 있음
  • e.g. AccerleratorConfig를 정의하기 위해서는 accelerator_count, accelerator_type이 필요함을 알 수 있음 (link)

생성, 삭제, 시작, 중지 관련 python 예시 코드

• 생성
  • https://cloud.google.com/compute/docs/instances/create-start-instance?hl=ko#gcloud
• 삭제
  • https://cloud.google.com/compute/docs/samples/compute-instances-delete?hl=ko
• 시작
  • https://cloud.google.com/compute/docs/samples/compute-start-instance?hl=ko
• 중지
  • https://cloud.google.com/compute/docs/samples/compute-stop-instance?hl=ko

향후 진행 예정

• python 코드로 VM 인스턴스 생성 후 LLM 추론서버 띄우기
• 특정 조건 하에서 VM 인스턴스 자동 시작/중단
  • e.g. 9-6시만 서버 실행
  • e.g. LLM 추론서버 호출이 몇 분 이상 오지 않으면 서버 중단