使用 GoogleCloudStorager Compose Operator 时遇到太多请求 429
Hitting TooManyRequests 429 when using GoogleCloudStorageComposeOperator
在 Google 的 Cloud Composer 中使用 GoogleCloudStorageComposeOperator 时，我们开始遇到 TooManyRequests、HTTP 429。
The rate of change requests to the object path/file.csv exceeds the rate limit. Please reduce the rate of create, update, and delete requests.
我们达到了什么极限？我认为这是这个限制，但我不确定：
There is a write limit to the same object name of once per second, so rapid writes to the same object name won't scale.
有没有人有解决这个问题的明智方法？重试时它通常可以工作，但不依赖它在重试时工作会很好。
很难说，没有细节，但这是 Storage 问题而不是 Composer 问题。在 Troubleshooting guide for Cloud Storage.
中有描述
在那里你可以找到更多的参考资料来深入了解它。在 Quotas and Limit 页面上我发现：
When a project's bandwidth exceeds quota in a location, requests to
affected buckets can be rejected with a retryable 429 error or can be
throttled. See Bandwidth usage for information about monitoring your
bandwidth.
看来这个错误是要重试的，所以我认为实现try/catch机制可能是一个解决方案。
在 Google 的 Cloud Composer 中使用 GoogleCloudStorageComposeOperator 时，我们开始遇到 TooManyRequests、HTTP 429。
The rate of change requests to the object path/file.csv exceeds the rate limit. Please reduce the rate of create, update, and delete requests.
我们达到了什么极限？我认为这是这个限制，但我不确定：
There is a write limit to the same object name of once per second, so rapid writes to the same object name won't scale.
有没有人有解决这个问题的明智方法？重试时它通常可以工作，但不依赖它在重试时工作会很好。
很难说，没有细节，但这是 Storage 问题而不是 Composer 问题。在 Troubleshooting guide for Cloud Storage.
中有描述在那里你可以找到更多的参考资料来深入了解它。在 Quotas and Limit 页面上我发现：
When a project's bandwidth exceeds quota in a location, requests to affected buckets can be rejected with a retryable 429 error or can be throttled. See Bandwidth usage for information about monitoring your bandwidth.
看来这个错误是要重试的，所以我认为实现try/catch机制可能是一个解决方案。