是否可以将 DistributedDataParallel 与 PyTorch Estimator 一起使用

Question

我们知道 Horovod 是受支持的。是否有使用 DistributedDataParallel 和 Pytorch 估算器的示例脚本？

Answer 1

除了 Horovod 的 MPI 之外，您应该能够将 nccl 或 gloo 指定为分布式数据并行后端。参见PyTorch Estimatordistributed_training参数。