使用 zeppelin 在 kubernetes 上运行 Spark

Question

我正在按照本指南运行在使用 minikube 设置的本地 kubernetes 集群中安装 zeppelin 容器。

我可以在那里设置 zeppelin 和运行一些示例代码。我已经下载了 spark 2.4.5 和 2.4.0 源代码，并使用以下命令构建它以支持 kubernetes：

./build/mvn -Pkubernetes -DskipTests clean package

构建 spark 后，我创建了一个 docker 容器，如文章所述：

bin/docker-image-tool.sh -m -t 2.4.X build

我将 zeppelin 配置为使用在 kubernetes 支持下构建的 spark 图像。上面的文章解释了 spark 解释器会自动将 kubernetes 上的 spark 配置为运行客户端模式和运行作业。

但是每当我尝试运行任何带有 spark 的段落时，我都会收到以下错误

Exception in thread "main" java.lang.IllegalArgumentException: basedir must be absolute: ?/.ivy2/local

我尝试在 zeppelin 中设置 spark 配置 spark.jars.ivy 以指向一个临时目录，但这也不起作用。

我在这里发现了类似的问题： basedir must be absolute: ?/.ivy2/local

但我似乎无法使用 spark.jars.ivy /tmp/.ivy 配置将 spark 配置为运行。我在构建 spark 时尝试使用 spark-defaults.conf 构建 spark，但这似乎也不起作用。

对这个问题很困惑，如果能提供解决方法，我们将不胜感激。

谢谢！

Answer 1

我也运行遇到过这个问题，但是我用来设置 spark.jars.ivy=/tmp/.ivy 的解决方法是将其设置为环境变量。

在您的 spark 解释器设置中，添加以下属性：SPARK_SUBMIT_OPTIONS 并将其值设置为 --conf spark.jars.ivy=/tmp/.ivy。

这应该会传递额外的选项来激发提交，你的工作应该会继续。

Spark on kubernetes with zeppelin