TensorFlow - GPU 加速仅用于训练?

TensorFlow - GPU Acceleration only for training?

将 GPU 加速与 TensorFlow 结合使用只会提高模型训练的速度,还是在对数据使用模型时也有助于提高速度。
大多数指南只讨论将 GPU 加速用于训练目的。

它也可以与 TensorFlow Models 中的任何一个一起使用吗?甚至那些 运行 通过 shell 脚本?
此外,它会默认在 shell 脚本上 运行 还是需要显式编码才能使其工作。

它对两者都有效,是的,即使在不训练的情况下,它也应该使模型的使用速度更快(除非模型真的很简单,并且将其放在 GPU 上的开销超过了性能成本。)我确实认为使用仅评估模型就不需要 GPU。经常训练时,数据会一起批处理,因此每个训练步骤都包含多个 运行 模型。还需要计算梯度,这会占用大量计算时间和内存。权重也需要在训练期间更新。因此,仅进行简单的前向传递要快得多。我真的认为,如果您需要一次进行一大堆前向传球,您会受益匪浅。

至于通过 shell 脚本 运行 宁张量流模型,我假设如果他们在 GPU 上训练,他们也会 运行 在 GPU 上。