Dataflow Worker 无法连接到 Dataflow 服务

Dataflow Workers unable to connect to Dataflow Service

我正在使用 Google Dataprep 启动 Dataflow 作业,但遇到了一些困难。

作为背景,我们使用 Dataprep 数周,在我们开始出现服务帐户授权问题之前,它工作正常。当我们最终解决这个问题时,我们重新启动了我们用来启动的作业,但它们失败了 "The Dataflow appears to be stuck."。

我们尝试了另一个非常简单的工作,但我们遇到了同样的错误。以下是完整的错误消息,作业在卡住一小时后失败:

数据流-

(1ff58651b9d6bab2): Workflow failed. Causes: (1ff58651b9d6b915): The Dataflow appears to be stuck.

数据准备-

The Dataflow job (ID: 2017-11-15_00_23_23-9997011066491247322) failed. Please 
contact Support and provide the Dataprep Job ID 20825 and the Dataflow Job ID.

这种错误似乎有多种来源,我不知道从哪里开始。 提前致谢

最佳途径是联系 Google 支持。 该问题与数据流方面有关,需要 Google

对数据流后端进行更多研究

请检查您项目的默认网络是否有任何更改。这是工作人员无法联系服务的常见原因,导致 1 小时超时。

更新:

进一步调查后,'Editor' 角色下缺少 Compute Engine 的 <project-number>-compute@developer.gserviceaccount.com 服务帐户。这通常是自动创建的。这可能是后来被错误删除的。请参阅 https://cloud.google.com/dataflow/security-and-permissions 中的 'Compute Engine Service Account' 部分。

我们正在努力修复以改进对此类缺失权限的早期检测,以便更好地指出故障的根本原因。

这意味着您的其他 Dataflow 作业也同样失败。