Ubuntu(或者可能是 Centos)的 Spark AMI - 不是亚马逊 linux?
Spark AMI for Ubuntu (or maybe Centos) - NOT amazon linux?
spark 发行版包含一个 ec2 启动脚本,该脚本指向 github 中用于 spark ami 的位置。不幸的是,ami(只有一个)是亚马逊 linux - 这是非常有限的。特别是亚马逊 linux ami 对软件包的支持有限。
所以,例如,如果我想在亚马逊上获得 php5.4(而不是默认的 5.3)linux - 运气不好。
是否有任何非亚马逊 linux ami 可用于 spark-ec2?
除了 provided by the Spark project.
之外,我不知道有一组最新的 Spark AMI
就是说,我开发了一种使用 Packer 从一组基本 AMI 和一些 Bash 脚本自动创建一组 Spark AMI 的方法:
https://github.com/nchammas/spark-ec2/tree/packer/image-build
这是 SPARK-3821 的一部分。
您需要做一些工作才能使它与 Ubuntu 一起使用,因为脚本当前假定基于 yum
的 Linux 分布。
基本上:
- These lines 定义要构建的基础 AMI。
- These lines 显示正在 运行 构建映像的脚本。
- These and these 行告诉 Packer 将构建的 AMI 复制到所有 EC2 区域。你可能想改变这个。
对您来说,成功的最短路径可能是尝试具有您正在寻找的软件包的 CentOS 或 Fedora 基础映像。这将最大限度地减少您必须对 Bash 脚本所做的更改。
在 Spark 1.4 发布时间范围内(大约 June/July 2015 年),我将努力将其合并到主要 spark-ec2
存储库中。
spark 发行版包含一个 ec2 启动脚本,该脚本指向 github 中用于 spark ami 的位置。不幸的是,ami(只有一个)是亚马逊 linux - 这是非常有限的。特别是亚马逊 linux ami 对软件包的支持有限。
所以,例如,如果我想在亚马逊上获得 php5.4(而不是默认的 5.3)linux - 运气不好。
是否有任何非亚马逊 linux ami 可用于 spark-ec2?
除了 provided by the Spark project.
之外,我不知道有一组最新的 Spark AMI就是说,我开发了一种使用 Packer 从一组基本 AMI 和一些 Bash 脚本自动创建一组 Spark AMI 的方法:
https://github.com/nchammas/spark-ec2/tree/packer/image-build
这是 SPARK-3821 的一部分。
您需要做一些工作才能使它与 Ubuntu 一起使用,因为脚本当前假定基于 yum
的 Linux 分布。
基本上:
- These lines 定义要构建的基础 AMI。
- These lines 显示正在 运行 构建映像的脚本。
- These and these 行告诉 Packer 将构建的 AMI 复制到所有 EC2 区域。你可能想改变这个。
对您来说,成功的最短路径可能是尝试具有您正在寻找的软件包的 CentOS 或 Fedora 基础映像。这将最大限度地减少您必须对 Bash 脚本所做的更改。
在 Spark 1.4 发布时间范围内(大约 June/July 2015 年),我将努力将其合并到主要 spark-ec2
存储库中。