Stackdriver：来自特定数据流 PCollection 输出的 ElementCount

Question

我有一个数据流作业，它从几个 Google Pub/Sub 主题中提取消息，对这些消息中包含的各个元素进行一些并行处理，然后将集合传递给进一步各种资源的消耗。我想将一个 Stackdriver 仪表板放在一起，显示每个主题已处理了多少个单独的元素。每个 ParDo 步骤输出一个 PCollection。

我已经使用 ElementCount 设置了一个仪表板，但我只能按工作筛选，不能按步骤筛选。如果我将鼠标悬停在使用 ElementCount 生成的图表中的行上，我可以看到每个步骤的计数。事实上，似乎确实报告了这些指标，因为我可以按以下方式使用 gcloud 命令行实用程序：

gcloud beta dataflow metrics list [jobid] --filter ElementCount

...
name:
  context:
    original_name: extract_value_topic_1/Map-out0-ElementCount
    output_user_name: extract_value_topic_1/Map-out0
  name: ElementCount
  origin: dataflow/v1b3
scalar: 7000
updateTime: '2017-05-03T18:13:22.804Z'
---
name:
  context:
    original_name: extract_value_topic_2/Map-out0-ElementCount
    output_user_name: extract_value_topic_2/Map-out0
  name: ElementCount
  origin: dataflow/v1b3
scalar: 12000
updateTime: '2017-05-03T18:13:22.804Z'

我有其中几个，但我没有看到基于它们构建 Stackdriver 图表的直接方法（除了将处理的每个元素记录到控制台然后使用它生成基于日志的指标，但是这似乎在许多层面上都非常低效。）我错过了什么吗？如何根据这些 ElementCount 创建图表？

编辑：此外，如果我打开 Metrics Explorer，我可以在搜索框中输入 dataflow/job/element_count，然后在筛选框中输入 pcollection，但我无法构建包含此图表的仪表板仪表板图表生成器中的过滤器选择不允许按 pcollection 进行过滤。

Answer 1

遗憾的是，您目前无法构建带有指标标签筛选器的仪表板。正如您所注意到的，新的（测试版）Metric Explorer 提供了过滤功能，Stackdriver 团队也在积极致力于为仪表板图表提供该功能。如果我从 Stackdriver 团队收到任何进一步的更新或详细信息，我会跟进。 --安德里亚

Stackdriver：来自特定数据流 PCollection 输出的 ElementCount

Stackdriver: ElementCount from Specific Dataflow PCollection Output

google-cloud-dataflow

stackdriver

apache-beam