如何修复哪个数据集或 table 导致 BigQuery 数据加载配额超出错误

Question

从 2021 年 3 月 1 日开始，当我将数据加载到 Google BigQuery 时，我总是遇到如下错误：

"reason": "quotaExceeded", 
        "message": "Quota exceeded: Your project exceeded quota for imports per project. For more 
information, see https://cloud.google.com/bigquery/troubleshooting-errors", 
        "location": "load_job"

如果我减少并发加载作业的数量或重试，我将再次成功加载数据。从 Google Cloud Console 可以看到请求激增，从大约 90,000 到 3.160,000，大多数是 200 响应。在配额页面，我没有找到超出通知的提示。每个周末都是峰会，但我的cron jobs大多不会安排在那个时间。关于如何修复哪个数据集或 table 的数据插入导致此问题的任何提示？

Answer 1

稍后通过下面的 SQL，我发现了错误。 https://cloud.google.com/bigquery/docs/troubleshoot-quotas

SELECT
destination_table.table_id, count(destination_table.table_id)
FROM `region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
WHERE creation_time > TIMESTAMP_SUB(CURRENT_TIMESTAMP, INTERVAL 1 DAY) AND
  error_result.reason IN ('rateLimitExceeded', 'quotaExceeded') group by 1

如何修复哪个数据集或 table 导致 BigQuery 数据加载配额超出错误

How to fix which dataset or table cause BigQuery Data Loading quota exceed error

quota

google-bigquery