我们能否通过 tensorflow 实现与 MPI 相同的计算缩放?

Can we achieve the same computational scaling with tensorflow as we could with MPI?

我问这个问题的原因是因为我在网络上看到人们使用 MPI 进行分布式计算以扩展他们的计算模型的代码。我无法理解的是,我所指的大多数示例都是用 tensorflow 编写的。现在鉴于 tensorflow 已经实现了 mpi 和 gRPC,我要问的问题是我们是否可以纯粹使用 tensorflow 而不是使用 MPI 来获得相同的结果?

换句话说,MPI 与 TF 相比有哪些优点和缺点?

提前致谢!

TF是机器学习框架,MPI是消息传递库。并行 TF 建立在 MPI 之上(TF 不是 MPI 的实现)

最重要的是,你不能比较苹果和橘子,也不能比较 MPI 和 TF。