无论如何要轮询 运行 数据流管道的系统水印?
Is there anyway to poll the system watermark of a running data flow pipeline?
一切尽在标题中。我想 运行 分批处理我的流媒体作业,并且能够看到水印作为何时开始的指示器会很棒。
您可以通过使用 pubsub 发布一个信号来实现这一点,该信号会触发您想要的任何外部处理。
要控制该信号的频率,您可以使用 ParDo 根据某些标准过滤您的记录,这些标准可能会考虑事件的时间戳。
如果您明确想要使用水印,您可以尝试使用窗口和触发器在水印经过某个时间间隔后生成记录。
我认为没有任何明确的方法可以访问水印。
一切尽在标题中。我想 运行 分批处理我的流媒体作业,并且能够看到水印作为何时开始的指示器会很棒。
您可以通过使用 pubsub 发布一个信号来实现这一点,该信号会触发您想要的任何外部处理。
要控制该信号的频率,您可以使用 ParDo 根据某些标准过滤您的记录,这些标准可能会考虑事件的时间戳。
如果您明确想要使用水印,您可以尝试使用窗口和触发器在水印经过某个时间间隔后生成记录。
我认为没有任何明确的方法可以访问水印。