如何将 Zeppelin 连接到从源代码构建的 Spark 1.5?

How to connect Zeppelin to Spark 1.5 built from the sources?

我从 Spark 存储库中提取了最新的源代码并在本地构建。它在 spark-shellspark-sql.

这样的交互式 shell 中效果很好

根据 this install manual,现在我想将 Zeppelin 连接到我的 Spark 1.5。我将自定义 Spark 构建发布到本地 Maven 存储库,并在 Zeppelin 构建命令中设置自定义 Spark 版本。构建过程成功完成,但是当我尝试 运行 笔记本中的 sc 等基本内容时,它会抛出:

akka.ConfigurationException: Akka JAR version [2.3.11] does not match the provided config version [2.3.4]

pom.xmlspark/pom.xml中设置了2.3.4版本,但简单地更改它们连构建都做不到。

如果我用标准 -Dspark.vesion=1.4.1 重建 Zeppelin,一切正常。

更新 2016-01

Spark 1.6 支持 landed to master 并且在 -Pspark-1.6 配置文件下可用。


更新 2015-09

Spark 1.5 支持 landed to master 并且在 -Pspark-1.5 配置文件下可用。


在 Apache Zeppelin(孵化)中支持 Spark 1.5 的工作是根据此 PR apache/incubator-zeppelin#269 完成的,很快就会借给 master。

目前,使用 -Pspark-1.5Spark_1.5 分支构建应该可以解决问题。