SyntaxNet 处理大量句子，GPU 会提高性能吗？
SyntaxNet to process a large number of sentences, do GPUs increase performance?
我有一个大型的原始文本句子数据集（即 ~5.000.000），我想使用已经针对英语训练过的 SyntaxNet 对其进行处理。也就是说，我只想使用 SyntaxNet 模型处理句子，我不想训练任何新模型。
设置带有 GPU 的处理环境对性能有什么影响？
据我所知，大部分繁重的 CPU 操作都是在估计 network/model 的参数和权重，一旦这些被估计，应用经过训练的网络应该比训练更快。
尽管如此，我以前从未使用过 Tensorflow，我不知道在将已经训练好的模型应用于数据时是否使用 GPU。
此外，有谁知道将 SyntaxNet 设置为守护程序或 Web 服务以便轻松进行批处理的简单方法吗？
你仍然需要在图上做很多张量运算来预测一些东西。所以 GPU 仍然为推理提供性能提升。看看这个 nvidia paper，他们没有在 TF 上测试他们的东西，但它仍然是相关的：
Our results show that GPUs provide state-of-the-art inference
performance and energy efficiency, making them the platform of choice
for anyone wanting to deploy a trained neural network in the field. In
particular, the Titan X delivers between 5.3 and 6.7 times higher
performance than the 16-core Xeon E5 CPU while achieving 3.6 to 4.4
times higher energy efficiency.
关于如何部署模型，请查看TF serving
我有一个大型的原始文本句子数据集（即 ~5.000.000），我想使用已经针对英语训练过的 SyntaxNet 对其进行处理。也就是说，我只想使用 SyntaxNet 模型处理句子，我不想训练任何新模型。
设置带有 GPU 的处理环境对性能有什么影响？
据我所知，大部分繁重的 CPU 操作都是在估计 network/model 的参数和权重，一旦这些被估计，应用经过训练的网络应该比训练更快。
尽管如此，我以前从未使用过 Tensorflow，我不知道在将已经训练好的模型应用于数据时是否使用 GPU。
此外，有谁知道将 SyntaxNet 设置为守护程序或 Web 服务以便轻松进行批处理的简单方法吗？
你仍然需要在图上做很多张量运算来预测一些东西。所以 GPU 仍然为推理提供性能提升。看看这个 nvidia paper，他们没有在 TF 上测试他们的东西，但它仍然是相关的：
Our results show that GPUs provide state-of-the-art inference performance and energy efficiency, making them the platform of choice for anyone wanting to deploy a trained neural network in the field. In particular, the Titan X delivers between 5.3 and 6.7 times higher performance than the 16-core Xeon E5 CPU while achieving 3.6 to 4.4 times higher energy efficiency.
关于如何部署模型，请查看TF serving