tensorflow convnet 是否仅跨多个 GPU 复制模型?

Does tensorflow convnet only duplicate model across multiple GPUs?

我目前 运行 是一个用于图像识别的 Tensorflow 卷积神经网络,我正在考虑购买新的 GPU 以启用更复杂的图形、批量大小和输入维度。我看过像this这样的帖子,不推荐使用AWS GPU实例来训练convnets,但欢迎大家多提意见。

我已阅读 Tensorflow 的指南 'Training a Model Using Multiple GPU Cards',该图似乎在 GPU 上是重复的。我想知道这是在 Tensorflow convnet 中使用并行 GPU 的唯一方法吗?

我问这个问题的原因是因为如果 Tensorflow 只能跨多个 GPU 复制图形,这意味着每个 GPU 必须至少具有我的模型一批所需的内存大小。 (例如,如果所需的最小内存大小为 5GB,则两张 4GB 的卡将无法完成工作)

提前致谢!

不,绝对可以在不同的 GPU 上使用不同的变量。 对于您声明的每个变量和每个层,您可以选择在何处声明变量。

并且在特定情况下,您可能希望使用多个 GPU 来复制您的模型只是为了增加其 batch_size 训练参数以更快地训练,您仍然需要使用以下概念明确构建您的模型共享参数并管理这些参数的通信方式。