区分datadog中的databricks流式查询

Differentiate databricks streaming queries in datadog

我正在尝试在 Datadog 上设置一个仪表板,它将显示我的流媒体作业的流媒体指标。作业本身包含两个任务,一个任务有 2 个流式查询,另一个有 4 个(两个任务使用相同的集群)。我按照说明 here 在驱动程序节点上安装了 Datadog。但是,当我转到 datadog 并尝试创建仪表板时,无法区分 6 个不同的流式查询,因此它们都集中在一起(none 每个查询的指标标签不同)。

经过一番挖掘,我发现有一个选项可以通过名为 enable_query_name_tag 的初始化脚本启用,该选项默认情况下处于禁用状态,因为它会导致在您不使用查询时创建大量标签名字。

修改如下:

instances:
    - spark_url: http://$DB_DRIVER_IP:$DB_DRIVER_PORT
      spark_cluster_mode: spark_standalone_mode
      cluster_name: ${hostip}
      streaming_metrics: true
      enable_query_name_tag: true <----