Google 大查询 - 具有最终数据的日期分区表
Google Big Query - Date-Partitioned Tables with Eventual Data
我们的 BigQuery 用例有点独特。我想开始使用 Date-Partitioned Tables，但我们的数据非常最终。它不会在发生时插入，但最终会在它提供给服务器时插入。有时这可能是几天甚至几个月后才插入任何数据。因此，_PARTITION_LOAD_TIME 属性对我们没有用。
我的问题是有没有一种方法可以指定像 _PARTITION_LOAD_TIME 参数一样起作用的列，并且仍然具有 Date-Partitioned table 的好处？如果我可以手动模拟它并相应地更新 BigQuery，那么我就可以开始使用 Date-Partitioned tables.
这里有人有好的解决方案吗？
您不需要创建自己的专栏。
_PARTITIONTIME 伪列仍然适用于您！
您唯一需要做的是 insert/load 将相应的数据批处理到相应的分区中，不仅要引用 table 名称，还要引用带有分区装饰器的 table - 比如你的table$20160718
这样您就可以将数据加载到它属于
的分区中
我们的 BigQuery 用例有点独特。我想开始使用 Date-Partitioned Tables，但我们的数据非常最终。它不会在发生时插入，但最终会在它提供给服务器时插入。有时这可能是几天甚至几个月后才插入任何数据。因此，_PARTITION_LOAD_TIME 属性对我们没有用。
我的问题是有没有一种方法可以指定像 _PARTITION_LOAD_TIME 参数一样起作用的列，并且仍然具有 Date-Partitioned table 的好处？如果我可以手动模拟它并相应地更新 BigQuery，那么我就可以开始使用 Date-Partitioned tables.
这里有人有好的解决方案吗？
您不需要创建自己的专栏。
_PARTITIONTIME 伪列仍然适用于您！
您唯一需要做的是 insert/load 将相应的数据批处理到相应的分区中，不仅要引用 table 名称，还要引用带有分区装饰器的 table - 比如你的table$20160718
这样您就可以将数据加载到它属于