设置 2 个 youtube bigquery 传输(每个 owner id 一个),使用相同的后缀,因此数据转到相同的 table。传输丢失了很多数据

Setup 2 youtube bigquery transfer (one for each owner id), use the same suffix, so the data goes to the same table. the transfer missing a lot of data

平时我每天获取的数据范围应该在10万条以上。但是当我设置 2 个 bigquery 传输(每个所有者 ID 一个)时,使用相同的后缀,因此数据转到相同的 table。传输缺少大量数据。

传输状态显示成功,但有时我只得到 4000-5000 条记录,而不是 100,000 多条记录。但有一天我得到了 100,000 条记录。

问题 1:

那个可能的bigquery传输只完成了部分数据传输?我的理解是 bigquery 传输是 "all or none"。如果成功,则所有传输完成。如果失败,则传输零记录。

虽然,我确实看到在某些情况下 bigquery 失败但状态显示完成。

问题 2:

当我设置两个传输时,两个传输都将数据发送到同一个 table,我可以看到失败率大大增加。

有没有可能两次转账在这个过程中相互冲突?

好的。

我确认了。

比如我有账号1和账号2

  1. 运行账户1的转账,我得到了10万行。
  2. 运行账户2的转账,我得到了5000行。

但是我设置了账户1的转账和账户2的转账到同一个table(相同的后缀)

  1. 我运行账户1转账,我得到10万行
  2. 然后我 运行 账户 2 转账,我丢失了账户 1 转账刚刚生成的 100,000 行,但是我得到了账户 2 生成的 5,000 行。

bigquery 专家的建议。是的。我无法设置两个传输以将数据转储到一个 table。由于 bigquery 传输回填是 "delete and insert".