Dataflow eclipse 示例生成 rateLimitExceeded 错误

Question

按照“使用 Eclipse 的云数据流插件" ...

当我运行插件生成的代码时，我得到这个错误

WARNING: There were problems getting current job messages: 429 Too Many Requests
{
  "code" : 429,
  "errors" : [ {
    "domain" : "global",
    "message" : "Request throttled due to project QPS limit being reached.",
    "reason" : "rateLimitExceeded"
  } ],
  "message" : "Request throttled due to project QPS limit being reached.",
  "status" : "RESOURCE_EXHAUSTED"
}

这令人费解，因为数据流的默认配额似乎是 1,000 requests/second/user。

我认为这个 "Hello, World" 程序没有超出该限制。

我是运行最新版本的 Eclipse [Mars.1 Release (4.5.1)] 使用 Java 8 [1.8.0_66] Mac OS X [10.11.1 (El Capitan)].

Answer 1

由于混淆，BlockingDataflowPipelineRunner 用于检查作业状态的 RPC 配额受到了过于严格的限制。这应该是固定的，并且不应该影响运行作业的行为。请告诉我们如果您继续遇到问题。

您也可以通过使用 DataflowPipelineRunner 来避免创建这些 RPC，它在提交作业后不会轮询作业状态。

Dataflow eclipse 示例生成 rateLimitExceeded 错误

Dataflow eclipse example generates rateLimitExceeded error

google-cloud-dataflow