"The Dataflow appears to be stuck" 在切换到 Firebase Firestore 作为管道源后,使用 Apache Beam 2.1.1 在 Cloud Dataflow 上

"The Dataflow appears to be stuck" on Cloud Dataflow with Apache Beam 2.1.1 after switching to Firebase Firestore as a pipeline source

我正在为此苦苦挣扎,最初认为这可能是将管道数据源从 Cloud Datastore 切换到 Firebase Firestore 的结果,这需要一个新项目。但我后来在不同的管道中发现了同样的错误。所有管道 运行 在本地 DirectRunner 上成功,权限似乎与旧项目相同。

看起来 none 的 VM 正在启动,并且管道从未扩展到超过 0 个工作器。 "The Dataflow appears to be stuck" 是我能找到的唯一错误消息,StackDriver 中没有任何内容。尝试了我可以在文档中找到的所有依赖项管理变体,但它似乎不是问题所在。

我最后一个 Dataflow 作业 ID 是 2017-10-11_11_12_01-15165703816317931044。

尝试提升所有服务帐户的访问角色,但仍然没有成功。

没有任何日志记录信息,很难确定。但是,如果您更改了 Dataflow 服务帐户或 Compute Engine 服务帐户的权限或角色,导致服务帐户没有足够的权限来获取 Dataflow 工作人员的图像,则可能会发生这种情况。