用于高流量应用程序实时预测的生产环境中的 TensorFlow - 如何使用？
TensorFlow in production for real time predictions in high traffic app - how to use?
在高流量应用程序中使用 TensorFlow 进行实时预测的正确方法是什么。
理想情况下，我会有一个 server/cluster 运行 tensorflow 侦听端口，我可以从应用服务器连接并获得类似于数据库使用方式的预测。
训练应该由 cron 作业完成，通过网络将训练数据提供给相同的 server/cluster.
如何在生产中实际使用 tensorflow？我是否应该构建一个 python 是 运行 的设置作为服务器并使用 python 脚本来获得预测？我对此还是个新手，但我觉得这样的脚本需要打开会话等。这是不可扩展的。 （我说的是 predictions/sec 的 100 个）。
任何指向相关信息的指针将不胜感激。我找不到。
今天早上，我们的同事在 GitHub 上发布了 TensorFlow Serving，它解决了您提到的一些用例。它是 TensorFlow 的分布式包装器，旨在支持多个模型的高性能服务。它支持来自应用服务器的批量处理和交互式请求。
在高流量应用程序中使用 TensorFlow 进行实时预测的正确方法是什么。
理想情况下，我会有一个 server/cluster 运行 tensorflow 侦听端口，我可以从应用服务器连接并获得类似于数据库使用方式的预测。 训练应该由 cron 作业完成，通过网络将训练数据提供给相同的 server/cluster.
如何在生产中实际使用 tensorflow？我是否应该构建一个 python 是 运行 的设置作为服务器并使用 python 脚本来获得预测？我对此还是个新手，但我觉得这样的脚本需要打开会话等。这是不可扩展的。 （我说的是 predictions/sec 的 100 个）。
任何指向相关信息的指针将不胜感激。我找不到。
今天早上，我们的同事在 GitHub 上发布了 TensorFlow Serving，它解决了您提到的一些用例。它是 TensorFlow 的分布式包装器，旨在支持多个模型的高性能服务。它支持来自应用服务器的批量处理和交互式请求。