Reference: https://pytorch.org/tutorials/intermediate/model_parallel_tutorial.html모델 병렬화는 분산 훈련 기술에서 아주 잘 활용된다. PytorchDistributed Data Prarallel

Reference : https://pytorch.org/tutorials/intermediate/ddp_tutorial.html먼저 DDP(Distributed Data Parallel)에 대해 알기 위해서는 Distributed에 대해 알아야 한다.PyT