GCP를 이용해서 jupyter notebook 사용하기- 01

EHminShoov2J·2023년 3월 29일
0
post-thumbnail

해당 글은 아래의 포스팅을 참고하여 작성하였습니다.

방대한 데이터를 학습하기 위해서 모두가 사용할 수 있는 서버가 필요하였고 이를 위해서 GCP를 이용하여 Jupyter notebook을 마치 서버처럼 사용하고자 하였다. 위의 다양한 블로그들을 보고 필요한 부분들을 가져와서 본 글을 작성하게 되었다. 본 포스팅은 간략하게 필수적인 부분들을, 우리 프로젝트에 맞게 설정하였기 때문에 보다 자세한 설명들을 위의 링크를 타고 들어가서 확인해보자.

1. 회원 가입

구글 계정이 있다면 GCP를 치고들어가서 얼마든지 신청할 수 있다. 무료 크래딧도 제공하므로, 여러 계정을 통해서 진행하는 것도 가능하다.

이후 모든 기능을 사용하기 위해 유료계정으로 전환해 주어야 한다.(네비게이션 바에서 결제 항목을 눌러 계정 업그레이드 가능!)


2. 할당량 신청

왼쪽 네비게이션 바에서 IAM 및 관리자 > 할당량에 들어간다. 이후 필터에 compute.googleapis.com/gpus_all_regions 를 입력하면 다음과 같은 화면이 나온다

이후 해당 항목을 클릭하고 우측 상단의 할당량 수정을 눌러준다.

들어가면 위와 같이 현재 한도가 0이 되어 있으므로, 이것을 1로 바꾸어 주고, 아래 이유는 본인이 사용하려는 이유를 말해주면 된다.

승인 요청을 보냈음으로, 답변이 돌아올때 까지 기다려 주어야 한다. 조금만 기다리면 아래와 같은 답장을 받을 수 있다.


3. VM 인스턴스 생성하기

콘솔을 통해서 Google Cloud에 접속하게 되면 상단에 검색창이 있다. 해당 검색창에 VM 인스턴스를 검색하게 되면 Computing Enginge API 사용 신청이 나온다.

사용을 신청하고나면 다음과 같이 VM 인스턴스를 생성할 수 있다.

여기서 우리가 원하는 대로 설정을 진행할 수 있다. 이렇게 생성하고 난뒤 원활하게 GPU를 사용하기 위해서는 CUDA와 pytorch 버전을 맞춰 주어야 한다. 이는 매우 귀찮은 작업인데 이러한 것을 조금더 쉽게 진행할 수 있다.

왼쪽 상단의 네비게이션 바에서 Compute Engine > 스토리지 > 이미지 에 들어가 우리가 원하는 것들이 포함된 디스크를 선택할 수 있다. 이러한 이미지는 번거로운 TensorFlow, Pytorch, CUDA 등을 미리 환경설정을 한 상태로 배포한 것이다.

위와 같이 pytorch와cu로 필터링을 하여, 내가 원하는 pytorch 버전이 깔려있는 인스턴스를 생성하면 추후의 작업에서 훨씬 편안하게 진행이 가능하다.


원하는 버전을 선택하고 인스턴스를 생성해준다.

이후 GPU를 사용할 예정이니 머신구성에서 GPU, 원하는 GPU를 선택해 준다. 사실 어느정도의 성능이 필요할지 몰라, 예산에 맞추어서 설정했다.

부팅 디스크는 기본적으로 이미지를 사용하였기 때문에 대부분 설정이 되어있지만, 용량만 넉넉하게 100G로 수정하였다.

또한 Jupyter를 서버처럼 활용하기 위해서 방화벽과 네트워킹을 다음과 같이 설정해 주었다.

이렇게 모든설정을 마무리하고 "만들기" 버튼을 눌러주면

다음과 같이 instance가 잘 생성된 것을 확인할 수 있다.

1개의 댓글

comment-user-thumbnail
2023년 12월 11일

사장님이 맛있고 글이 친절해요

답글 달기