[Google Colab] 저장한 데이터가 세션이 종료되면 날아간다?

이하얀·2024년 10월 21일
0

💡 팁

목록 보기
6/7
post-thumbnail

🧐Google Colab(구글 코랩)이 뭔데?

  • Google에서 제공해주는 클라우드 기반 주피터 노트북 환경
  • 웹 브라우저에서 Python 코드 작성 및 실행 가능
  • 머신러닝, 딥러닝, 데이터 분석 등 작업 수행 시 용이
    • Jupyter Notebook과의 차이
      • 구글 코랩 : 가상 환경, 기본 라이브러리 제공
      • 주피터 노트북 : 물리적 설치 후 사용, 필요한 라이브러리 역시 설치 후 사용 가능
  • 더 자세한 사항은 25. 구글 Colab소개 참고!

구글 코랩은 클라우드 환경

즉, 세션이 연결되어야 사용할 수 있습니다.

  • 그런데 그 세션 연결이 갑자기 끊긴다면?
    그 시점의 데이터가 저장되어 있지 않았다는 전제하에 모두 소실될 가능성이 있겠죠.

필자의 경우,
별도의 csv 파일을 구글 코랩으로 불러와 SQL 관련 쿼리 작업을 하고 있었습니다.

  • 그런데, 며칠이 지나 다시 해당 .ipynb 파일 세션을 연결하니 데이터가 감쪽같이 사라져 오류를 발생시키고 있었어요!

  • 원래는 분명, 이 자리에 sql_basic이라는 폴더가 있어야 했어요.



드라이브 마운트

구글 코랩은 구글 드라이브 마운트를 이용하면 구글 드라이브의 파일에 접근할 수 있습니다.
하지만, 기본적으로는 허용되어 있지 않아요.

또한 기본 세션 유지 시간(런타임 시간)은 최대 12시간입니다.
이마저도 90분 이상 비활성화 상태일 경우 connection refused가 됩니다.

이러한 이유로 인해 작업하던 데이터들은 임시로 저장되고 세션이 유지되는 기간동안만 사용할 수 있게 되는 것이죠.

자, 그러면 계속해서 데이터를 사용하기 위해 드라이브 마운트를 하러 가봅시다.


구글 드라이브와의 연결

  1. 작업 중인 구글 코랩의 우측 상단에서 다음 아이콘을 찾아 클릭해 주세요.

  1. 다음 안내 사항이 나오면 Google Drive에 연결을 클릭해 엑세스를 허용합니다.

  1. 아이콘 위에 \ 표시가 생긴 것을 볼 수 있답니다.
    또한, drive라는 폴더도 생겼어요!

  1. drive 폴더 내부에서 원하는 위치에 파일 또는 폴더를 업로드 해주세요.
    예시)

  1. 자, 이제 데이터를 불러와 봅니다.

    에러가 발생하지 않는다면 성공입니다!

번외) 데이터를 잘 불러오는지 실제로 확인하기 위해 쿼리문을 날려보겠습니다.
(실제 내용은 저작권으로 인해 보이지 않지만 잘 불러옵니다.)


💡 파일 경로는 어떻게 작성해야하나요?

  • 물론 직접 작성하셔도 되지만, 경로 복사를 이용하시면 에러 발생 가능성을 많이 낮출 수 있습니다.
    • 원하는 파일 또는 폴더에 가서 마우스 오른쪽 클릭 > 경로 복사를 클릭하시면 간편하게 붙여넣을 수 있어요.


정리

어떠신가요?
간단하게 드라이브 마운트를 활성화해서 이제부턴 데이터를 계속 사용해보실 수 있을 겁니다.
도움이 되셨기를 바라며 이만 물러가겠습니다..!

profile
언젠가 내 코드로 세상에 기여할 수 있도록, BE&Data Science 개발 기록 노트☘️

0개의 댓글