一次可以 运行 多少个作业?
How many jobs can be run at a time?
我正在寻找可能将查询作为 aysnc 作业发送到 bigquery,但是我不知道这是否真的是一个可行的过程。
小运行向下:
- 获取请求
- 生成查询
- 发送异步查询
- 继续完成代码
我喜欢这样做,因为截至目前,脚本中最长的部分正在等待 bigquery 发回回复。我没有将此回复用于任何内容,因为它是所有流式插入,而且我无法找出 bigquery 作业有哪些限制。
假设您正在谈论通过 jobs.query()
或 jobs.insert()
进行的 运行 查询,可以在 BigQuery 文档的 Quota Policy page 中找到配额限制。特别是:
Concurrent rate limit (applies to on-demand queries only): [...] up to 20 concurrent queries. Queries that return cached results, or queries configured using the dryRun property, do not count against this limit.
(删除了一些关于作业大小的细节,重点是我的)
如果您正在考虑从同步 jobs.query()
转向使用异步 jobs.insert()
,您可能会发现我们文档中的 Querying Data page 也很有用。
我正在寻找可能将查询作为 aysnc 作业发送到 bigquery,但是我不知道这是否真的是一个可行的过程。
小运行向下:
- 获取请求
- 生成查询
- 发送异步查询
- 继续完成代码
我喜欢这样做,因为截至目前,脚本中最长的部分正在等待 bigquery 发回回复。我没有将此回复用于任何内容,因为它是所有流式插入,而且我无法找出 bigquery 作业有哪些限制。
假设您正在谈论通过 jobs.query()
或 jobs.insert()
进行的 运行 查询,可以在 BigQuery 文档的 Quota Policy page 中找到配额限制。特别是:
Concurrent rate limit (applies to on-demand queries only): [...] up to 20 concurrent queries. Queries that return cached results, or queries configured using the dryRun property, do not count against this limit.
(删除了一些关于作业大小的细节,重点是我的)
如果您正在考虑从同步 jobs.query()
转向使用异步 jobs.insert()
,您可能会发现我们文档中的 Querying Data page 也很有用。