Spark EC2 支持 Windows
Spark EC2 support for Windows
所有关于在 Amazon EC2 上部署 Spark 集群的文档都与 Linux 环境有关。但是,目前我的分布式项目依赖于某些 Windows 功能,我想在制作时开始使用 Windows 集群必要的改变。
我想知道是否有任何方法可以让我们以相对类似于 spark-ec2
脚本的方式在 EC2 上部署 Windows Spark 集群由 Spark.
提供
spark-ec2
目前仅支持使用 specific Linux AMIs 在 EC2 中启动集群,因此目前无法使用该工具部署 Windows Spark 集群。我怀疑 spark-ec2
是否会具备这种能力,因为它使用的所有设置脚本都假定一个 Linux 主机。
也就是说,Databricks 最近宣布了 community-managed index of Spark packages, and people are adding in stuff there all the time. For example, there is already a package to let you launch Spark clusters on Google's Compute Engine。
虽然目前似乎没有适合您的东西,但我会密切关注社区索引,寻找可以让您在 EC2 上启动 Windows Spark 集群的东西。
在 Nick 建议的带有 Spark 包的资源中,您可以看到 Sigmoid Analytics 最近添加的项目 - 它允许您在 Azure 上启动 Spark 集群 - spark_azure
:
所有关于在 Amazon EC2 上部署 Spark 集群的文档都与 Linux 环境有关。但是,目前我的分布式项目依赖于某些 Windows 功能,我想在制作时开始使用 Windows 集群必要的改变。
我想知道是否有任何方法可以让我们以相对类似于 spark-ec2
脚本的方式在 EC2 上部署 Windows Spark 集群由 Spark.
spark-ec2
目前仅支持使用 specific Linux AMIs 在 EC2 中启动集群,因此目前无法使用该工具部署 Windows Spark 集群。我怀疑 spark-ec2
是否会具备这种能力,因为它使用的所有设置脚本都假定一个 Linux 主机。
也就是说,Databricks 最近宣布了 community-managed index of Spark packages, and people are adding in stuff there all the time. For example, there is already a package to let you launch Spark clusters on Google's Compute Engine。
虽然目前似乎没有适合您的东西,但我会密切关注社区索引,寻找可以让您在 EC2 上启动 Windows Spark 集群的东西。
在 Nick 建议的带有 Spark 包的资源中,您可以看到 Sigmoid Analytics 最近添加的项目 - 它允许您在 Azure 上启动 Spark 集群 - spark_azure
: