Zeppelin 配置:某处有缓存吗?

Zeppelin configuration: is there a cache somewhere?

Zeppelin 读取解释器特定配置的方式似乎遗漏了一些东西。

例如,我在 zeppelin-env.sh 中将 spark.cores.max 设置为 12,在 $SPARK_HOME/conf 中将 spark-defaults.sh 设置为 12,但启动 Spark 解释器时启动的 Spark 应用程序只有 4 个内核.

然后我在 Zeppelin 的解释器 UI 中更改了 属性 并且它起作用了。

这里有层次结构:

  • UI(解释器)中的参数优先于 zeppelin-env.sh;
  • 中指定的参数
  • zeppelin-env.sh中配置的参数优先于spark-defaults.sh中指定的参数;并且,
  • 如果使用上面没有指定任何内容,配置参数将回退到 spark-defaults.sh 中指定的参数。

这里有一个重要的二元性,关于人们对任何 spark 应用程序的期望:

  • 在应用程序中明确设置的配置参数优先于使用 spark-submit;
  • 指定的参数
  • spark-submit指定的参数优先于spark-defaults.sh指定的参数;并且,
  • 如果使用上面没有指定任何内容,则配置参数回退到 spark-defaults.sh 中指定的参数。

所以您所观察到的是意料之中的,尽管我也觉得它令人困惑(而且在任何地方都没有特别详细的记录)。