[부스트캠프 AI Tech 5기] Monitoring tools for PyTorch

모니터링 툴
긴 학습 시간
기다림의 기록이 필요

• Tensorboard 와 weight and biases(wandb)
• 이제 print 문은 그만 쓰자

Tensorboard

• Tensorflow의 프로젝트로 만들어진 시각화 도구
• 학습 그래프, 학습 결과의 시각화 지원
• Pytorch도 지원

scalar : 상수 값의 epoch을 표시
graph : 모델의 computational graph 표시
histogram : weight 등 값의 분포를 표현
image : 이미지
mash : 3D 형태

# 주피터 상에서 텐서보드 수행 
%load_ext tensorboard
# 6006 포트로 자동 생성
%tensorboard --logdir {logs_base_dir}

weight & biases

• 머신러닝 실험을 원활히 지원하기 위한 상용 도구

• 협업, code versioning 실험 결과 기록 등 제공

• MLOps의 대표적인 툴로 저변 확대중

• Wandb에 가입 후 api key를 받고 처음 실행 시 입력

• config 파일에 넣어주고 실행

config= {"epochs":EPOCHS,"batch_size":BATCH_SIZE,"learning_rate":LEARNING_RATE}

wandb.init(project='project_name',config=config)
# 텐서보드의 add 함수와 동일 
wandb.log({'accuracy':train_acc,'loss':train_loss}) 

• 이후 wandb 홈페이지에서 기록을 확인
• Wandb 튜토리얼도 있으니 확인을 해보십쇼