刷新 运行 流作业的 Spark 属性
Refreshing Spark Properties on a Running Streaming job
我想更新当前 运行 火花流作业的火花属性。
我在程序中对 SparkConf 设置了一些属性,在 spark-defaults.conf 上设置了一些属性。
我如何更新它们以便我当前 运行 的工作会选择它们?
这样可以吗?
通常无法在运行时刷新配置。只有某些 SQL 选项可以在活动上下文中更改。
否则:
- 修改配置
- 重启应用程序
我想更新当前 运行 火花流作业的火花属性。
我在程序中对 SparkConf 设置了一些属性,在 spark-defaults.conf 上设置了一些属性。
我如何更新它们以便我当前 运行 的工作会选择它们?
这样可以吗?
通常无法在运行时刷新配置。只有某些 SQL 选项可以在活动上下文中更改。
否则:
- 修改配置
- 重启应用程序