在本地 gpu 和 colab gpu 上进行分布式训练
Distributed training over local gpu and colab gpu
我想微调 ALBERT。
我看到有人可以使用 tensorflow 在多个 GPU 上进行神经网络训练：https://www.tensorflow.org/guide/distributed_training
我想知道是否可以在笔记本电脑的 GPU 和 colab GPU 之间分配微调？
我认为这不可能。因为为了进行 GPU 分布式训练，您需要在 GPU 之间使用 NVLink。您的笔记本电脑的 GPU 和 Colab GPU 之间没有这样的 link。这是一本好书 https://lambdalabs.com/blog/introduction-multi-gpu-multi-node-distributed-training-nccl-2-0/
我想微调 ALBERT。
我看到有人可以使用 tensorflow 在多个 GPU 上进行神经网络训练：https://www.tensorflow.org/guide/distributed_training
我想知道是否可以在笔记本电脑的 GPU 和 colab GPU 之间分配微调？
我认为这不可能。因为为了进行 GPU 分布式训练，您需要在 GPU 之间使用 NVLink。您的笔记本电脑的 GPU 和 Colab GPU 之间没有这样的 link。这是一本好书 https://lambdalabs.com/blog/introduction-multi-gpu-multi-node-distributed-training-nccl-2-0/