使用多个 GPU 训练一个模型

Training one model with several GPU's

如何对 keras 或 tensorflow 进行编程以在多个 GPU 上进行分区训练,假设您在一个具有 8 个 GPU 的 amaozn ec2 实例中,并且您想使用所有 GPU 来更快地训练,但您的代码仅用于单个 cpu 或 GPU ?

是的,可以 运行 多个 GPU 上的 Keras 模型。这目前只能通过 TensorFlow 后端实现,因为 Theano 功能仍然很新。我们正在考虑在不久的将来在 Theano 中添加对多 GPU 的支持(应该相当简单)。

使用 TensorFlow 后端,您可以通过与在纯 TensorFlow 中相同的方式实现此目的:在定义 Keras 层时使用 with tf.device(d) 范围。

最初来自here