SPARK_SUBMIT_OPTIONS 在 Apache Zeppelin 0.7.3 中不起作用

Question

尝试在 Yarn 集群上运行 Spark Zeppelin，我在 zeppeline-env.sh 中设置了以下变量：

export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
export SPARK_HOME=/opt/spark
export SPARK_SUBMIT_OPTIONS="--executor-memory 512m --driver-memory 512m --executor-cores 2 --queue onlineQ"

但它在 YARN 上部署作业时没有使用 SPARK_SUBMIT_OPTIONS 值！例如 executor-memory 默认为 1024m。当我在 Zeppelin interpreter 设置中设置 executor-memory 时，它将被应用。因为我应该为 Spark Submit 设置 --queue 属性，有没有其他方法（除了 SPARK_SUBMIT_OPTIONS 变量）来设置它？

Answer 1

你可以在spark解释器设置里设置。

spark.driver.memory等

这里有更多信息：https://zeppelin.apache.org/docs/0.7.2/interpreter/spark.html#configuration

Answer 2

注意，使用 Zeppelin，可以将 spark 驱动程序嵌入到 Zeppelin 解释器 java 应用程序中。

因此，所有设置“spark.driver.*”将不起作用，因为java进程已经是运行.

您可以改为设置 zep 解释器 java 属性。

SPARK_SUBMIT_OPTIONS 在 Apache Zeppelin 0.7.3 中不起作用

SPARK_SUBMIT_OPTIONS didn't work in Apache Zeppelin 0.7.3

apache-spark

apache-zeppelin