刷新 运行 流作业的 Spark 属性

Refreshing Spark Properties on a Running Streaming job

我想更新当前 运行 火花流作业的火花属性。

我在程序中对 SparkConf 设置了一些属性,在 spark-defaults.conf 上设置了一些属性。

我如何更新它们以便我当前 运行 的工作会选择它们?

这样可以吗?

通常无法在运行时刷新配置。只有某些 SQL 选项可以在活动上下文中更改。

否则:

  • 修改配置
  • 重启应用程序