BigQuery 中的 CREATE OR REPLACE 是否会影响先前分区 Table 的配额?
Does CREATE OR REPLACE in BigQuery contribute towards a previous Partition Table's quota?
我们有一个 BigQuery 查询,例如:
create or replace table `{project}`.`{dataset}`.`{table}`
partition by date
select {...}
如果我们运行一天查询几次,我们会得到一个错误:
Quota exceeded: Your table exceeded quota for Number of partition
modifications to a column partitioned table. For more information, see
https://cloud.google.com/bigquery/troubleshooting-errors
我之前用 bq load --replace
加载了分区的 tables 并且不记得有过类似的错误 — 建议为新的 table.
重置配额
这是如何运作的? create or replace
是否为该 table 名称使用了累积配额,但 bq load --replace
重置了每个 运行 的配额?
Is it expected behaviour for ‘CREATE OR REPLACE’ to contribute towards a previous/overwritten Partition Table's ‘maximum number of partition modifications’ quota?
- Per-table 配额绑定到 table 名称。 'CREATE OR REPLACE' 不会更改 table 名称,因此不会重置配额。
Why then does a' bq load --replace' not affect the partition table quota?
- 'bq load --replace' 也消耗了配额。 'load' 和 'create or replace' 都可以将数据附加到多个分区。分区数按partition modifications.
个数计算
我们有一个 BigQuery 查询,例如:
create or replace table `{project}`.`{dataset}`.`{table}`
partition by date
select {...}
如果我们运行一天查询几次,我们会得到一个错误:
Quota exceeded: Your table exceeded quota for Number of partition modifications to a column partitioned table. For more information, see https://cloud.google.com/bigquery/troubleshooting-errors
我之前用 bq load --replace
加载了分区的 tables 并且不记得有过类似的错误 — 建议为新的 table.
这是如何运作的? create or replace
是否为该 table 名称使用了累积配额,但 bq load --replace
重置了每个 运行 的配额?
Is it expected behaviour for ‘CREATE OR REPLACE’ to contribute towards a previous/overwritten Partition Table's ‘maximum number of partition modifications’ quota?
- Per-table 配额绑定到 table 名称。 'CREATE OR REPLACE' 不会更改 table 名称,因此不会重置配额。
Why then does a' bq load --replace' not affect the partition table quota?
- 'bq load --replace' 也消耗了配额。 'load' 和 'create or replace' 都可以将数据附加到多个分区。分区数按partition modifications. 个数计算