distributed dataparallel1 [Pytorch] Distributed package 를 이용한 분산학습으로 Multi-GPU 효율적으로 사용하기 안녕하세요 pulluper 입니다 😁😁 이번 포스팅에서는 pytorch 의 분산(distributed) pakage를 이용해서 multi-gpu 를 모두 효율적으로 사용하는 방법을 알아보겠습니다. 이번 포스팅의 목차는 다음과 같습니다. 1. 용어 2. init 3. dataset 4. distributed data-parallel 5. train 6. 실행 7. CIFAR 10 example 1. 용어 (terminology) 먼저 pytorch.distributed 를 이용하는 것은 멀티프로세스방법을 이용하는 것 입니다. 정확하게는 여러 process를 이용해병렬적으로 연산을 수행하여, 각 프로세스가 효율적으로 gpu를 사용하고 모으는것을 할 수 가 있습니다. 이를 이용하기 위해 이해해야 할 몇가지 용.. 2022. 6. 15. 이전 1 다음
