Kubernetes 上的 Zeppelin Spark Master 设置
Zeppelin Spark Master Settings on Kubernetes
我在 Kubernetes 上将 Zeppelin 0.8 配置为 运行，我的 spark 集群在同一个命名空间中。
问题是，当我在 spark 解释器设置中提到 spark master 时，我的代码停止工作并出现错误，
java.lang.RuntimeException: SPARK_HOME is not specified in interpreter-setting for non-local mode, if you specify it in zeppelin-env.sh, please move that into interpreter setting
是否有人在 Kubernetes 上积极使用 Zeppelin 来 运行 Spark Apps？
如有任何线索，我们将不胜感激！
这非常简单。所需要做的就是在 Zeppelin 的 spark 解释器设置中添加 SPARK_HOME。
SPARK_HOME 需要指向下载的 spark 版本。就我而言，我使用的是从此处下载的 spark 2.4：https://archive.apache.org/dist/spark/spark-2.4.0/
我使用了带有 Hadoop 2.7 的版本并将文件装载到我的 运行 容器中。
要连接到 Kubernetes 中的 spark master 运行，Zeppelin 需要发行版中的二进制文件。
还要在解释器设置中提及 master url 作为 spark://spark-master:7077
虽然我目前正在解决一些阻碍内部连接的 DNS 问题，但这使设置工作顺利。
我在 Kubernetes 上将 Zeppelin 0.8 配置为 运行，我的 spark 集群在同一个命名空间中。
问题是，当我在 spark 解释器设置中提到 spark master 时，我的代码停止工作并出现错误，
java.lang.RuntimeException: SPARK_HOME is not specified in interpreter-setting for non-local mode, if you specify it in zeppelin-env.sh, please move that into interpreter setting
是否有人在 Kubernetes 上积极使用 Zeppelin 来 运行 Spark Apps？
如有任何线索，我们将不胜感激！
这非常简单。所需要做的就是在 Zeppelin 的 spark 解释器设置中添加 SPARK_HOME。
SPARK_HOME 需要指向下载的 spark 版本。就我而言，我使用的是从此处下载的 spark 2.4：https://archive.apache.org/dist/spark/spark-2.4.0/
我使用了带有 Hadoop 2.7 的版本并将文件装载到我的 运行 容器中。
要连接到 Kubernetes 中的 spark master 运行，Zeppelin 需要发行版中的二进制文件。
还要在解释器设置中提及 master url 作为 spark://spark-master:7077
虽然我目前正在解决一些阻碍内部连接的 DNS 问题，但这使设置工作顺利。