区分datadog中的databricks流式查询

Question

我正在尝试在 Datadog 上设置一个仪表板，它将显示我的流媒体作业的流媒体指标。作业本身包含两个任务，一个任务有 2 个流式查询，另一个有 4 个（两个任务使用相同的集群）。我按照说明 here 在驱动程序节点上安装了 Datadog。但是，当我转到 datadog 并尝试创建仪表板时，无法区分 6 个不同的流式查询，因此它们都集中在一起（none 每个查询的指标标签不同）。

Answer 1

经过一番挖掘，我发现有一个选项可以通过名为 enable_query_name_tag 的初始化脚本启用，该选项默认情况下处于禁用状态，因为它会导致在您不使用查询时创建大量标签名字。

修改如下：

instances:
    - spark_url: http://$DB_DRIVER_IP:$DB_DRIVER_PORT
      spark_cluster_mode: spark_standalone_mode
      cluster_name: ${hostip}
      streaming_metrics: true
      enable_query_name_tag: true <----

区分datadog中的databricks流式查询

Differentiate databricks streaming queries in datadog

monitoring

databricks

spark-structured-streaming

datadog