# pytorch lightning
⚡Pytorch Lightning 으로 koBERT Fine-Tuning 해보기 (NSMC)
Hi! I'm Jaylnne. 🖐코드는 아래 Github 레포에! 👇👇👇\[Github] jaylnne/nsmc-bert-pytorch_lightningPytorch Lightning 이란 Pytorch 에 대한 High-level 인터페이스를 제공하기 위한 라
[NLP] PyTorch Lightning 라이브러리를 이용한 Binary-Classification Fine-tuning.
최근 NLP에선 BERT계열 모델을 활용한 Trnasfer-Learning이 굉장히 🔥hot🔥하다. 사실 Transfer-Learning이 유명해지게된 것은 Computer Vision 분야인데 BERT가 나오면서 NLP 분야에서도 Transfer-Learning이
.png)
Pytorch Lightning hooks 톺아보기
이번 글에서는 Pytorch Lightning(as PL)의 두가지 핵심이라 생각되는 파트중 하나인 LightningModule (as PL.LM) 에서 training loop를 구성하는 내용에 대해 알아보려 한다. PL를 처음 사용 하면서 가장 남감 했던 부분
Pytorch Lightning 사용기
pytorch lightning(PL) hooks 최근 두 달 pytorch lightning(as PL)을 찍먹하며 쓸수록 괜찮은 프레임워크라는 생각이든다. 먼저 PL은 pytorch, tensorflow(as TF), onnx와 같은 또 다른 프레임워크가 아니다
Pytorch-Lightning Commom Use Cases 05 - Inference in Production
Pytorch-Lightning은 production level의 model deploying을 간단하게 사용 가능함Pytorch-Lightning은 model을 ONNX format으로 빠르게 export하는 간편한 기능을 제공함example_input_array를
Pytorch-Lightning Commom Use Cases 04 - Hyperparameters
Pytorch Lightning은 ArgumentParser랑 상호작용 가능한 기능을 포함하고 있어, Hyperparameter 최적화 framework와 호환 가능함Pytorch-Lightning은 내장 Python ArgumentParser와 호환되도록 디자인됨이
Pytorch-Lightning Commom Use Cases 03 - Early Stopping
epoch을 조기에 종료하게 하고 싶다면, on_train_batch_start()가 -1을 리턴하도록 하면됨만약 이걸 반복하게 하고 싶다면, 전체 epoch이 이러도록 세팅하면 전체 run이 멈춤EarlyStopping callback은 validation metri
Pytorch-Lightning Commom Use Cases 02 - Debugging
model을 테스트하는 건 쉽지 않은 일Pytorch-Lightning에서는 unittest를 위해 여러가지 debug flag를 제공함전체 데이터로 테스트 하는게 아니라 소수의 batch로 테스트 할 수 있는 debug flagn(int) / True로 설정 가능n(
Pytorch-Lightning Commom Use Cases 01 - Child Modules
Research 프로젝트는 같은 데이터셋에 대해서 다른 접근법을 취하는 경향이 있음Pytorch Lightning에서는 이 부분을 상속을 통해서 아주 쉽게 처리함예를 들면, MNIST 이미지에서 feature를 뽑으려고 AutoEncoder를 학습시킨다고 할 때, da