Spark EC2 支持 Windows

Spark EC2 support for Windows

所有关于在 A​​mazon EC2 上部署 Spark 集群的文档都与 Linux 环境有关。但是,目前我的分布式项目依赖于某些 Windows 功能,我想在制作时开始使用 Windows 集群必要的改变。

我想知道是否有任何方法可以让我们以相对类似于 spark-ec2 脚本的方式在 EC2 上部署 Windows Spark 集群由 Spark.

提供

spark-ec2 目前仅支持使用 specific Linux AMIs 在 EC2 中启动集群,因此目前无法使用该工具部署 Windows Spark 集群。我怀疑 spark-ec2 是否会具备这种能力,因为它使用的所有设置脚本都假定一个 Linux 主机。

也就是说,Databricks 最近宣布了 community-managed index of Spark packages, and people are adding in stuff there all the time. For example, there is already a package to let you launch Spark clusters on Google's Compute Engine

虽然目前似乎没有适合您的东西,但我会密切关注社区索引,寻找可以让您在 EC2 上启动 Windows Spark 集群的东西。

在 Nick 建议的带有 Spark 包的资源中,您可以看到 Sigmoid Analytics 最近添加的项目 - 它允许您在 Azure 上启动 Spark 集群 - spark_azure:

https://github.com/sigmoidanalytics/spark_azure