从 Google 云数据流收集应用程序指标

Question

在 Google 云 dataflow/Beam 中，我们可以使用此 Metrics API and it can be queried in the application using another API 收集应用程序指标。但我需要将这些指标保留在 Bigquery/Prometheus 中以用于实时监控和警报机制。请建议如何在 Google 云数据流中实现此目的。

Answer 1

从 Dataflow 收集指标的最佳方法是使用 Stackdriver Monitoring，它允许从Stackdriver 仪表板。 Stackdriver 的另一个优势是警报功能，它会通知您各种情况，例如长时间的流式传输系统滞后或作业失败。

这里有一个方便的 list Dataflow 可用指标，例如job/is_failed — 易于设置失败作业的警报。

如果您更喜欢图形 UI 来监控您的指标，请查看此 blog post。

请注意，该产品处于 Beta 状态。希望以上信息对您有所帮助。