Dataflow 作业是否达到任何 Bigquery 配额和限制？

Question

我有大约 1500 个工作需要使用 Dataflow 来实现。这些工作将每天安排。在我们的工作中，我们可能会使用 Bigquery Client 库使用大量 DML 语句。列出我对 Bigquery 配额和限制的担忧。

参考：https://cloud.google.com/bigquery/quotas

请确认在以下任何情况下我们是否需要考虑 Bigquery 的每日使用限制。

1. 如果我们使用 BigqueryIO.write()
实现数据插入
2. 如果我们在 Dataflow 作业中使用 Bigquery Client Library 使用 DML 语句 (Update/Delete)

求推荐。

Answer 1

您绝对 需要考虑 BigQuery 配额和限制 - 即使是从 Dataflow 连接到它时也是如此。

Dataflow 只是代表您调用 BigQuery API。因此，所有配额和限制仍然适用，就像您自己直接调用它一样。