云数据流作业失败

Cloud Dataflow Job failed

今天早上我们的云数据流作业失败,出现以下错误:

Jul 20, 2015, 7:02:57 AM (41114dff4e115290): Workflow failed. Causes: (ba1dfdda2b6af333): Map task completion for Step "Clicks_07_2015-BQ-Read+Clicks_07_2015-ParDoDFP-transform+Clicks_07_2015-BQ-Write" failed. Causes: (3bcd8d4fd3828211): No exported files "gs://path/to/file/*.json" found after export of table "Clicks_07_2015" in dataset "--dataset--" in project "{--project--id--}".

这项工作在过去几天里一直 运行 成功,没有任何代码更改,今天早上失败了。我们可以看到此云存储文件夹中有一个 json 文件,所以我不确定为什么会失败。这是一个错误吗?

职位编号:2015-07-19_14_01_42-8050965853069761045

当表从 BigQuery 导出到 Cloud Storage 时,它​​们受制于该系统的最终一致性属性。在这种情况下,索引似乎在反复重试后仍然过时,此时 Dataflow 使作业失败。我们会努力更好地处理这个特殊情况,感谢您的耐心等待。

这应该很少发生,但您可能会发现 运行 CLI 在重试循环中解决这种情况很有用。

https://cloud.google.com/dataflow/pipelines/dataflow-command-line-intf