如何将 Zeppelin 连接到从源代码构建的 Spark 1.5?
How to connect Zeppelin to Spark 1.5 built from the sources?
我从 Spark 存储库中提取了最新的源代码并在本地构建。它在 spark-shell
或 spark-sql
.
这样的交互式 shell 中效果很好
根据 this install manual,现在我想将 Zeppelin 连接到我的 Spark 1.5。我将自定义 Spark 构建发布到本地 Maven 存储库,并在 Zeppelin 构建命令中设置自定义 Spark 版本。构建过程成功完成,但是当我尝试 运行 笔记本中的 sc
等基本内容时,它会抛出:
akka.ConfigurationException: Akka JAR version [2.3.11] does not match the provided config version [2.3.4]
pom.xml
和spark/pom.xml
中设置了2.3.4版本,但简单地更改它们连构建都做不到。
如果我用标准 -Dspark.vesion=1.4.1
重建 Zeppelin,一切正常。
更新 2016-01
Spark 1.6 支持 landed to master 并且在 -Pspark-1.6
配置文件下可用。
更新 2015-09
Spark 1.5 支持 landed to master 并且在 -Pspark-1.5
配置文件下可用。
在 Apache Zeppelin(孵化)中支持 Spark 1.5 的工作是根据此 PR apache/incubator-zeppelin#269 完成的,很快就会借给 master。
目前,使用 -Pspark-1.5
从 Spark_1.5 分支构建应该可以解决问题。
我从 Spark 存储库中提取了最新的源代码并在本地构建。它在 spark-shell
或 spark-sql
.
根据 this install manual,现在我想将 Zeppelin 连接到我的 Spark 1.5。我将自定义 Spark 构建发布到本地 Maven 存储库,并在 Zeppelin 构建命令中设置自定义 Spark 版本。构建过程成功完成,但是当我尝试 运行 笔记本中的 sc
等基本内容时,它会抛出:
akka.ConfigurationException: Akka JAR version [2.3.11] does not match the provided config version [2.3.4]
pom.xml
和spark/pom.xml
中设置了2.3.4版本,但简单地更改它们连构建都做不到。
如果我用标准 -Dspark.vesion=1.4.1
重建 Zeppelin,一切正常。
更新 2016-01
Spark 1.6 支持 landed to master 并且在 -Pspark-1.6
配置文件下可用。
更新 2015-09
Spark 1.5 支持 landed to master 并且在 -Pspark-1.5
配置文件下可用。
在 Apache Zeppelin(孵化)中支持 Spark 1.5 的工作是根据此 PR apache/incubator-zeppelin#269 完成的,很快就会借给 master。
目前,使用 -Pspark-1.5
从 Spark_1.5 分支构建应该可以解决问题。