使用 BigQuery 联合源查询压缩文件

Querying compressed files using BigQuery federated source

根据 BigQuery 联合来源documentation

[...]or are compressed must be less than 1 GB each.

这意味着压缩文件是 BigQuery 中联合源支持的类型。

但是,当我尝试在 GCS 中查询 gz 文件时出现以下错误:

我用一个未压缩的文件进行了测试,它工作正常。 BigQuery 是否支持将压缩文件作为联合源,或者我是否误解了文档?

压缩模式默认为NONE,需要在外部table定义中明确指定。

在提出问题时,无法通过 UI 完成此操作。现在已修复此问题,应该会自动检测压缩数据。

有关更多背景信息,请参阅: https://cloud.google.com/bigquery/docs/reference/v2/jobs#configuration.query

有趣的参数是"configuration.query.tableDefinitions.[key].compression"。