数据流作业失败 "Unable to bring up enough workers",配额正常,更改机器类型和区域不会改变任何内容
Dataflow jobs fail with "Unable to bring up enough workers", quotas are OK, changing machine types and regions does not change anything
我们开发了一个基于 Google Cloud Platform 的应用程序,它使用 Cloud Dataflow 将数据写入 BigQuery。
我现在正尝试在另一个组织的新 GCP 项目上设置此应用程序。
问题
我正在经历这个:
Workflow failed. Causes: Unable to bring up enough workers: minimum 1, actual 0. Please check your quota and retry later, or please try in a different zone/region.
它发生在两个数据流模板上:
1. 从 Pub/Sub 主题获取数据并写入 Pub/Sub 主题,
2. 另一个从 Pub/Sub 主题中获取数据并写入 BigQuery。
作业是从 Cloud Dataflow 创建的 API。模板非常标准,最多 3 个工作人员和 THROUGHPUT_BASED
自动缩放模式。
根据类似问题的建议,我检查了计算引擎配额,远未超过。我还更改了区域和机器类型;问题仍然存在。 Compute Engine 和 Dataflow API 已启用。
问题
由于它在另一个组织的项目上工作,我相信它来自具有特定限制的 GCP 组织。可能吗?
我还应该检查哪些要点才能使其正常工作?
经过多次测试,我们设法使其正常工作。
这确实不是区域和机器类型的问题,尽管大多数相关的 Whosebug 线程建议您应该从那个开始。
实际上是因为GCP Organization policy. As pointed in 对外部IP地址的限制,Dataflow的标准配置需要一个外部IP地址。
我们开发了一个基于 Google Cloud Platform 的应用程序,它使用 Cloud Dataflow 将数据写入 BigQuery。 我现在正尝试在另一个组织的新 GCP 项目上设置此应用程序。
问题
我正在经历这个
Workflow failed. Causes: Unable to bring up enough workers: minimum 1, actual 0. Please check your quota and retry later, or please try in a different zone/region.
它发生在两个数据流模板上: 1. 从 Pub/Sub 主题获取数据并写入 Pub/Sub 主题, 2. 另一个从 Pub/Sub 主题中获取数据并写入 BigQuery。
作业是从 Cloud Dataflow 创建的 API。模板非常标准,最多 3 个工作人员和 THROUGHPUT_BASED
自动缩放模式。
根据类似问题的建议,我检查了计算引擎配额,远未超过。我还更改了区域和机器类型;问题仍然存在。 Compute Engine 和 Dataflow API 已启用。
问题
由于它在另一个组织的项目上工作,我相信它来自具有特定限制的 GCP 组织。可能吗? 我还应该检查哪些要点才能使其正常工作?
经过多次测试,我们设法使其正常工作。
这确实不是区域和机器类型的问题,尽管大多数相关的 Whosebug 线程建议您应该从那个开始。
实际上是因为GCP Organization policy. As pointed in