Google Pub/Sub + 云 运行 可扩展性
Google Pub/Sub + Cloud Run scalability
我有一个 python 应用程序将 pubsub 消息写入 Bigquery。 python 代码使用 google-cloud-bigquery 库,TableData.insertAll()
方法配额为每秒 10,000 个请求/table.Quotas documentation.
Cloud 运行 容器自动缩放设置为 100,每个 container.So 有 1000 个请求从技术上讲,我应该可以达到 10000 requests/sec 对吗? BQ 插入 API 是最大的瓶颈。
我现在每秒只有几百个请求,同时有多个服务运行。
CPU 内存为 50%。
现在确认您的项目结构,并在评论中给出一些细节;然后我会查看 Pub/Sub quotas and limits,尤其是配额和资源限制,您可以在这两个表中根据大小检查此信息,吞吐量配额单位部分告诉您如何计算配额使用情况。
我会回答你的问题是,你可以达到 10,000 req/sec。并且在此 question 中,根据字节大小,您可以插入 10,000 行,除非建议为 500。
Cloud 运行中的concurrency可以修改,以备不时之需。
我有一个 python 应用程序将 pubsub 消息写入 Bigquery。 python 代码使用 google-cloud-bigquery 库,TableData.insertAll()
方法配额为每秒 10,000 个请求/table.Quotas documentation.
Cloud 运行 容器自动缩放设置为 100,每个 container.So 有 1000 个请求从技术上讲,我应该可以达到 10000 requests/sec 对吗? BQ 插入 API 是最大的瓶颈。
我现在每秒只有几百个请求,同时有多个服务运行。
CPU 内存为 50%。
现在确认您的项目结构,并在评论中给出一些细节;然后我会查看 Pub/Sub quotas and limits,尤其是配额和资源限制,您可以在这两个表中根据大小检查此信息,吞吐量配额单位部分告诉您如何计算配额使用情况。
我会回答你的问题是,你可以达到 10,000 req/sec。并且在此 question 中,根据字节大小,您可以插入 10,000 行,除非建议为 500。
Cloud 运行中的concurrency可以修改,以备不时之需。