Zeppelin 集群模式不适用于 spark 1.2 Ambari、Hortonworks Cluster
Zeppelin Cluster Mode not working on spark 1.2 Ambari, Hortonworks CLuster
我正在尝试部署集群和 运行 上面的一些示例 Spark/scala 代码,虽然当我在独立模式下使用带默认参数的 zeppelin 时一切正常,但我无法让它工作集群模式。
我尝试使用 spark-class 和 start-master 标准 shell-files然后将 spark://.. URL 传递给 Zeppelin,但是在 运行 代码之后我不断收到不同的异常错误(比如 java sys.process._ library is missing) 一段时间后 spark worker 的状态在 Spark MasterUI 中变为 DEAD
我还尝试在 zeppelin spark.home 变量中使用 yarn-client 而不是 spark-URL 但它没有产生类似的错误。
你能帮我在 Ambari 集群上部署 zeppelin and/or 提示我做错了什么吗?
对于 Zeppelin 与 Ambari 的集成,请使用来自 Hortonworks 的 ambari-zeppelin-service。
它有很好的文档记录,也可以在集群模式下工作。
我正在尝试部署集群和 运行 上面的一些示例 Spark/scala 代码,虽然当我在独立模式下使用带默认参数的 zeppelin 时一切正常,但我无法让它工作集群模式。 我尝试使用 spark-class 和 start-master 标准 shell-files然后将 spark://.. URL 传递给 Zeppelin,但是在 运行 代码之后我不断收到不同的异常错误(比如 java sys.process._ library is missing) 一段时间后 spark worker 的状态在 Spark MasterUI 中变为 DEAD
我还尝试在 zeppelin spark.home 变量中使用 yarn-client 而不是 spark-URL 但它没有产生类似的错误。
你能帮我在 Ambari 集群上部署 zeppelin and/or 提示我做错了什么吗?
对于 Zeppelin 与 Ambari 的集成,请使用来自 Hortonworks 的 ambari-zeppelin-service。
它有很好的文档记录,也可以在集群模式下工作。