BigQuery 流式插入数据可用性延迟

Question

我已经使用 BigQuery 大约 2 个月了。在那段时间里，我使用流式插入每分钟添加数千个条目。我已经能够在几分钟内查询该数据，如果不是立即的话。

不过从几天前开始，我的一个 table 突然开始显示数据可用性延迟 20 到 60 分钟不等。这只发生在我的 table 之一。插入其他 table 的数据几乎立即可用。

这种数据可用性延迟对于 BigQuery 来说是否正常？

遇到此问题的 table 是 accuAudience.trackPlays。我很乐意向 Google 团队成员提供项目 ID 和其他信息。

流式插入有问题的 table 的结果是：

{'kind': 'bigquery#tableDataInsertAllResponse'}

来自有问题的 table、accuAudience.trackPlays 的示例查询（按日期降序排列）：

ROW DATE COUNT
1 2015-03-30 12:35:32 UTC 67
2 2015-03-30 12:35:31 UTC 65
3 2015-03-30 12:35:30 UTC 56
4 2015-03-30 12:35:29 UTC 45
5 2015-03-30 12:35:28 UTC 60

几秒钟后对不同的 table (accuAudience.trackSkips) 进行了相同的查询。请注意，日期字段比之前的查询提前 30 分钟。

ROW DATE COUNT
1 2015-03-30 13:04:03 UTC 1
2 2015-03-30 13:04:02 UTC 1
3 2015-03-30 13:04:01 UTC 3
4 2015-03-30 13:04:00 UTC 3
5 2015-03-30 13:03:59 UTC 6

如果需要其他信息，请告诉我！

Answer 1

BigQuery 定期运行后台维护任务以优化您的 table 查询。这些后台任务之一导致流式处理过程出现问题。这导致我们无法从流式缓冲区中读取数据，直到它被刷新。请注意，当您不断流式传输到 table.

时，您可能已经将此视为一个持续存在的问题。

现已修复。如果问题仍然存在，请告诉我们您遇到问题的 table 和项目。