Apache Beam 数据流作业开始失败:工作流失败

Apache Beam Dataflow Jobs started failing with: Workflow failed

我已经 运行使用 DataflowRunner 进行批处理作业一个多星期了,没有任何问题,但突然从今天开始,作业开始失败并显示以下错误消息。工作人员似乎没有启动,并且根本没有登录 stackdriver。

我在这里遗漏了什么吗?

Dataflow SDK version: 2.0.0
Submitted job: 2017-08-29_09_43_20-9537473353894635176
2017-08-29 16:44:24 ERROR MonitoringUtil$LoggingHandler:101 - 2017-08-29T16:44:22.277Z: (54a5da9d57fd266d): Workflow failed.

编辑: 如果我从批处理中删除 --zone=europe-west2-b 运行 它会起作用,这表明该区域可能有问题。

我看了你的工作。它失败了,因为它无法获得培养工人的配额。可能您在该区域没有配额。此错误未正确处理,但应在下一个版本中修复。