WandB 가입 및 사용방법

Eunbin Park·2022년 10월 30일

mlops tools wandb

Price

Free ! 라고 봐도 무방할 만큼 개인에게 100GB의 넉넉한 용량을 제공해준다. cloud나 private hosting 둘 다

가입

wandb.ai 로 진입해 sign up을 진행한다.

Project 생성

설치

일단 사용하는 가상환경 안에 설치를 해준다.

pip install wandb

설치 후 터미널 환경에서 wandb login 을 진행해 가입 시 받았던 발급받았던 key를 넣어준다.
로그인이 완료되면 아무런 출력 없이 끝난다

wandb 코드 예제

일전에 짜두었던 코드 에 심어보아야겠다.

wandb에서 제공하는 한국어 SDK Ref 가 있으며, wandb에서 상세한 예제 코드도 제공하고 있다.

main.py

wandb 호출 및 로그인

import wandb
from dotenv import load_dotenv  # pip install python-dotenv

load_dotenv()
WANDB_AUTH_KEY = os.getenv('WANDB_AUTH_KEY')
wandb.login(key=WANDB_AUTH_KEY)

init
호출 이후 init을 호출해 인자를 넣어준다.

wandb.init(entity=config.entity_name, project=config.project_name)

project: wandb에 기제작한 project 이름을 넣어준다.
entity: 사용자 이름
etc.

configuration update
나는 yaml로 관리하고 있어서 TrainingArguments 호출 안 하고 직접 넣어주었다.

import yaml

with open("config.yaml", "r") as f:
    saved_config = yaml.load(f,Loader=yaml.FullLoader)
    config = EasyDict(saved_config["CFG"])

wandb.config.update(config)

## or 
from transformers import TrainingArguments
args = TrainingArguments(..., report_to="wandb")

end
wandb.finish() 로 끝내준다.

logging

wandb.log({"loss": loss}, step=step})

def f1_pre_rec(labels, preds):
    results = {
        "precision": precision_score(labels, preds, suffix=True),
        "recall": recall_score(labels, preds, suffix=True),
        "f1": f1_score(labels, preds, suffix=True)
    }
    wandb.log(results)
    return results