VM实例停止后如何继续处理？

Question

我在 dataflow.The 上使用流媒体字数统计，流量是 "pubsub -> wordcount on dataflow (fixed window) -> pubsub"。

当我部署管道时，有 3 个实例启动。 [https://s3-ap-northeast-1.amazonaws.com/matsuda-question/instances.png]

当我将文本发布到 pubsub 时，统计结果被发布到 pubsub。 [https://s3-ap-northeast-1.amazonaws.com/matsuda-question/input.png] [https://s3-ap-northeast-1.amazonaws.com/matsuda-question/output1.png]

并且我手动停止了 3 个实例中的 1 个实例。这就像节点故障。 [https://s3-ap-northeast-1.amazonaws.com/matsuda-question/stopped_instances.png]

计数不完整。 [https://s3-ap-northeast-1.amazonaws.com/matsuda-question/output2.png]

我猜处理单词 "one, two, five" 的节点已停止。 dataflow在部分节点失效时没有failover功能吗？

Answer 1

Streaming Dataflow 当前不处理在 运行 作业中停止实例。但是，这不是 Compute Engine 中可能的故障模式。保证失败的 VM 将再次重新启动。如果您想试验管道在节点出现故障时的行为方式，您可以从开发人员控制台重置 VM。