TensorFlow 会自动并行化图形计算吗？

Question

是否有关于他们如何以及是否完全做到这一点的资源？我很好奇依赖关系是否在图中被识别并相应地并行化。

https://www.tensorflow.org/tutorials/images/deep_cnn

https://www.tensorflow.org/deploy/distributed

https://www.tensorflow.org/guide/faq

https://github.com/google/seq2seq/issues/44

我不清楚这些，因为他们谈论手动执行但似乎没有解释图形如何或是否自动并行化。

Answer 1

原因是 TensorFlow 没有提供在多个执行单元上分布图的自动机制，假设开发人员自己做。但是，它显然会跟踪图中的所有依赖关系，因此如果您手动执行此操作，它将确保以正确的顺序计算事物。

如果您想开箱即用 distributed/multi-GPU 功能，请查看张量包：https://github.com/tensorpack/tensorpack