🙈Pytorch ignite가 뭐야🙉!!

🤔 Boilerplate란?

템플릿(Template)같은 느낌으로, 반복적인 코드를 타이핑할 필요없이 반복적인 일들을 하지 않도록 도와주는 것이 바로 보일러플레이트(Boilerplate)이다. pytorch ignite는 딥러닝 분야에서 모델을 코딩하는 시간보다 부수적인 요소의 코딩(trainer, dataset 등)에 더 많은 시간이 소요되기 때문에 재사용 가능한 코드를 만들자는 의미이다.

(좌) ignite를 사용한 코드 (우) 일반적인 코드

🤩 IGNITE YOUR NETWORKS!

Pytorch-ignite란 model을 훈련시키고 업데이트하는 모든 과정을 이와 관련된 메소드를 제공하여 깔끔하고 재사용할 수 있게 도와주는 라이브러리이다. ignite의 본질은 ignite.engine.Engine으로 이루어져있는데, Engine은 입력 받은 연산을 계속해서 반복 수행하는 역할을 한다.

while epoch < max_epochs:
    # run an epoch on data
    data_iter = iter(data)
    while True:
        try:
            batch = next(data_iter)
            output = process_function(batch)
            iter_counter += 1
        except StopIteration:
            data_iter = iter(data)

        if iter_counter == epoch_length:
            break

위의 코드는 Engine 의 의미를 나타내는 코드이다.

🚗 Engine

Engine은 쉽게 생각해 학습하는 부분을 계속 돌려주는 것이다. 마치 자동차 엔진처럼 말이다. Engine의 사용법은 ignite.engine.engine.Engine(process_function)이다. process_function은 사용자가 직접 코딩하는 부분은 feed-forward, loss 계산, 역전파 계산, Gradient Descent 수행 등 이다. 아래 코드는 기본 트레이너를 만든 예시이다.

def update_model(engine, batch): # process function
    inputs, targets = batch
    optimizer.zero_grad()
    outputs = model(inputs)
    loss = criterion(outputs, targets)
    loss.backward()
    optimizer.step()
    return loss.item()

trainer = Engine(update_model) # ignite.engine.engine.Engine()의 형식

@trainer.on(Events.ITERATION_COMPLETED(every=100)) # event
def log_training(engine):
    batch_loss = engine.state.output
    lr = optimizer.param_groups[0]['lr']
    e = engine.state.epoch
    n = engine.state.max_epochs
    i = engine.state.iteration
    print(f"Epoch {e}/{n} : {i} - batch loss: {batch_loss}, lr: {lr}")

trainer.run(data_loader, max_epochs=5) # Engine은 간단하게 .run()으로 돌릴 수 있다.

> Epoch 1/5 : 100 - batch loss: 0.10874069479016124, lr: 0.01
> ...
> Epoch 2/5 : 1700 - batch loss: 0.4217900575859437, lr: 0.01

아래 코드는 evaluator 예시 코드이다.

from ignite.metrics import Accuracy

def predict_on_batch(engine, batch)
    model.eval()
    with torch.no_grad():
        x, y = prepare_batch(batch, device=device, non_blocking=non_blocking)
        y_pred = model(x)

    return y_pred, y

evaluator = Engine(predict_on_batch)
Accuracy().attach(evaluator, "val_acc")
evaluator.run(val_dataloader)

🥳 EVENT

기본적인 train process

Pytorch ignite에는 Engine의 효율, 유연성을 향상시키기 위해 EVENT 시스템이 도입됬다. 예를들면

• STARTED : 엔진 실행이 시작될 때 발생하는 이벤트
• EPOCH_STARTED : Epoch가 시작될 때 발생하는 이벤트
• GET_BATCH_STARTED : 다음 배치를 가져오기 전에 발생하는 이벤트
  등, 많은 이벤트가 존재한다. 그래서 사용자는 사용자가 정의한 코드를 Event handler로 실행할 수 있다. handler는 lambda, function, class method 등과 같은 모든 함수가 될 수 있다. Pytorch ignite는 많은 이벤트가 존재하기 때문에 함수를 등록만 해주면 쉽게 진행할 수 있다.

Event Handler는 add_event_handler 함수를 사용해서 작성할 수 있다. 아래는 예시 코드이다.

def run_validation(engine, validation_engine, valid_loader):
validation_engine.run(valid_loader, max_epoch=1)

train_engine.add_event_handler(
	Events.EPOCH_COMPLETED,
    run_validation,
    validation_engine,
    valid_loader,

아래는 decorator를 활용하여 Event call-back 함수를 작성한 예시이다.

@train_engine.on(Events.EPOCH_COMPLETED)
def print_train_logs(engine):
	avg_p_norm = engine.state.metrics['|param|']
    avg_g_norm = engine.state.metrics['|g_param|']
    avg_loss = engine.state.metrics['loss']
    avg_accuracy = engine.state.metrics['accuracy']
    
    print('Epoch {} - |param|={:.2e} |g_param|={:.2e} loss={}, accuracy={}'
    engine.state.epoch,
    avg_p_norm,
    avg_g_norm,
    avg_loss,
    avg_accuracy,
    ))

다음에는 비슷한 라이브러리인 pytorch lighting에 대해 알아보도록 하겠다.