Pytorch

1.[Pytorch] 분산학습(V1) 비교 실험 - DDP, DP

post-thumbnail

CUDA 11.1Pytorch : 1.8.1 CU11.1GPU : A10OS : Linux 18.04Model : AlexNet, ResNet20Data : CIFAR10Training Method : DP(DataParallel), DDP(DataDistributed

2022년 11월 25일

2.[Pytorh] AMP - Automatic Precision

post-thumbnail

AMP는 Automatic Mixed Precision package의 약자로 모델의 single precision(FP32)를 두 종류의 precision(FP16, FP32)으로 학습하게 하여 빠르게 학습을 하게해주는 패키지이다.모델의 Foward 연산은 서로 다른

2022년 11월 25일

3.[Pytorch] 분산학습(V2) DP, DDP 개념 정리

post-thumbnail

💡 DataParallel(DP)은 Pytorch 에서 제공하는 가장 기본적인 방법이지만, GPU 메모리 불균형이 발생하는 문제점이 있음. Custom DataParallel은 GPU 메모리 불균형 문제를 어느 정도 해소해주지만, GPU util이 낮다는 문제가 여

2022년 11월 25일