Zeppelin 配置:某处有缓存吗?
Zeppelin configuration: is there a cache somewhere?
Zeppelin 读取解释器特定配置的方式似乎遗漏了一些东西。
例如,我在 zeppelin-env.sh
中将 spark.cores.max
设置为 12,在 $SPARK_HOME/conf
中将 spark-defaults.sh
设置为 12,但启动 Spark 解释器时启动的 Spark 应用程序只有 4 个内核.
然后我在 Zeppelin 的解释器 UI 中更改了 属性 并且它起作用了。
- 使用UI(网页)存储的属性在哪里?
- UI 应该是 'in sync' 和
zeppelin-env.sh
还是 zeppelin-site.xml
?
这里有层次结构:
- UI(解释器)中的参数优先于
zeppelin-env.sh
; 中指定的参数
zeppelin-env.sh
中配置的参数优先于spark-defaults.sh
中指定的参数;并且,
- 如果使用上面没有指定任何内容,配置参数将回退到
spark-defaults.sh
中指定的参数。
这里有一个重要的二元性,关于人们对任何 spark 应用程序的期望:
- 在应用程序中明确设置的配置参数优先于使用
spark-submit
; 指定的参数
spark-submit
指定的参数优先于spark-defaults.sh
指定的参数;并且,
- 如果使用上面没有指定任何内容,则配置参数回退到
spark-defaults.sh
中指定的参数。
所以您所观察到的是意料之中的,尽管我也觉得它令人困惑(而且在任何地方都没有特别详细的记录)。
Zeppelin 读取解释器特定配置的方式似乎遗漏了一些东西。
例如,我在 zeppelin-env.sh
中将 spark.cores.max
设置为 12,在 $SPARK_HOME/conf
中将 spark-defaults.sh
设置为 12,但启动 Spark 解释器时启动的 Spark 应用程序只有 4 个内核.
然后我在 Zeppelin 的解释器 UI 中更改了 属性 并且它起作用了。
- 使用UI(网页)存储的属性在哪里?
- UI 应该是 'in sync' 和
zeppelin-env.sh
还是zeppelin-site.xml
?
这里有层次结构:
- UI(解释器)中的参数优先于
zeppelin-env.sh
; 中指定的参数
zeppelin-env.sh
中配置的参数优先于spark-defaults.sh
中指定的参数;并且,- 如果使用上面没有指定任何内容,配置参数将回退到
spark-defaults.sh
中指定的参数。
这里有一个重要的二元性,关于人们对任何 spark 应用程序的期望:
- 在应用程序中明确设置的配置参数优先于使用
spark-submit
; 指定的参数
spark-submit
指定的参数优先于spark-defaults.sh
指定的参数;并且,- 如果使用上面没有指定任何内容,则配置参数回退到
spark-defaults.sh
中指定的参数。
所以您所观察到的是意料之中的,尽管我也觉得它令人困惑(而且在任何地方都没有特别详细的记录)。