删除 bigquery table 条记录的自动作业

Question

有没有办法根据列条件安排从 bigquery table 中删除行？每天安排 运行 之类的工作。

例如，假设我在 table 中有一个名为 creation_date 的列。当 creation_date 小于当前日期减去一周 (creation_date < current date - 7) 时，我需要删除记录。我需要作业运行每天在指定时间根据创建日期条件删除记录。

如果没有任何内置的调度程序操作，您能否建议任何可用的选项？

Answer 1

您可以利用 BigQuery 本身的几个简单选项。

最简单的可能是 scheduled queries。这只会按计划执行命令。您可以执行 DELETE 语句或其他方法。

此外，您可以设置 table 或 partition expirations。这个涉及更多的跑腿工作，但会达到类似的结果。根据您的描述，您可能希望设置一个分区到期时间。