Ubuntu(或者可能是 Centos)的 Spark AMI - 不是亚马逊 linux?

Spark AMI for Ubuntu (or maybe Centos) - NOT amazon linux?

spark 发行版包含一个 ec2 启动脚本,该脚本指向 github 中用于 spark ami 的位置。不幸的是,ami(只有一个)是亚马逊 linux - 这是非常有限的。特别是亚马逊 linux ami 对软件包的支持有限。

所以,例如,如果我想在亚马逊上获得 php5.4(而不是默认的 5.3)linux - 运气不好。

是否有任何非亚马逊 linux ami 可用于 spark-ec2?

除了 provided by the Spark project.

之外,我不知道有一组最新的 Spark AMI

就是说,我开发了一种使用 Packer 从一组基本 AMI 和一些 Bash 脚本自动创建一组 Spark AMI 的方法:

https://github.com/nchammas/spark-ec2/tree/packer/image-build

这是 SPARK-3821 的一部分。

您需要做一些工作才能使它与 Ubuntu 一起使用,因为脚本当前假定基于 yum 的 Linux 分布。

基本上:

  • These lines 定义要构建的基础 AMI。
  • These lines 显示正在 运行 构建映像的脚本。
  • These and these 行告诉 Packer 将构建的 AMI 复制到所有 EC2 区域。你可能想改变这个。

对您来说,成功的最短路径可能是尝试具有您正在寻找的软件包的 CentOS 或 Fedora 基础映像。这将最大限度地减少您必须对 Bash 脚本所做的更改。

在 Spark 1.4 发布时间范围内(大约 June/July 2015 年),我将努力将其合并到主要 spark-ec2 存储库中。