Spark 和 InfiniBand
Spark and InfiniBand
我正在尝试在具有无限带宽互连的以 HPC 为中心的集群中使用 Spark。此集群不提供对 IPoIB 的支持。我在 here 看到了俄亥俄州立大学的 Spakr-RDMA 项目。我找不到其他人从事此工作，或者 apache spark 将来是否会支持 IB。问题是是否有任何其他解决方案可以在仅使用 IB 作为网络的 HPC 环境中获取更新版本的 spark？
您可以查看有关通过以太网部署 RDMA (RoCE) 以通过 Mellanox 100 GbE 网络加速 Apache Spark 2.2.0 的参考指南https://community.mellanox.com/docs/DOC-3068
我正在尝试在具有无限带宽互连的以 HPC 为中心的集群中使用 Spark。此集群不提供对 IPoIB 的支持。我在 here 看到了俄亥俄州立大学的 Spakr-RDMA 项目。我找不到其他人从事此工作，或者 apache spark 将来是否会支持 IB。问题是是否有任何其他解决方案可以在仅使用 IB 作为网络的 HPC 环境中获取更新版本的 spark？
您可以查看有关通过以太网部署 RDMA (RoCE) 以通过 Mellanox 100 GbE 网络加速 Apache Spark 2.2.0 的参考指南https://community.mellanox.com/docs/DOC-3068