为 Spark 应用程序设置 Cloudera 应用程序标签
Set Cloudera application tags for Spark application
我在我的 spark 应用程序中设置了 spark.yarn.tags，它在打印时在我的配置中也可见。
但 Cloudera manager 在 yarn 应用的 application_tags 字段中无法检测到它。
Spark 应用程序 application_tags 是否映射到 spark.yarn.tags？
我想我找到了解决办法。
当调用 spark-submit 时设置 spark.yarn.tags 时，cloudera manager 会检测到它。所以我相信这是在创建 spark 上下文之前需要的东西，因此它必须在提交时作为 conf 传递。
这是将它传递给 spark-submit 的方式
--conf spark.yarn.tags=tag-name
我在我的 spark 应用程序中设置了 spark.yarn.tags，它在打印时在我的配置中也可见。
但 Cloudera manager 在 yarn 应用的 application_tags 字段中无法检测到它。
Spark 应用程序 application_tags 是否映射到 spark.yarn.tags？
我想我找到了解决办法。 当调用 spark-submit 时设置 spark.yarn.tags 时，cloudera manager 会检测到它。所以我相信这是在创建 spark 上下文之前需要的东西，因此它必须在提交时作为 conf 传递。
这是将它传递给 spark-submit 的方式
--conf spark.yarn.tags=tag-name