使用 BigQuery 联合源查询压缩文件
Querying compressed files using BigQuery federated source
根据 BigQuery 联合来源documentation:
[...]or are compressed must be less than 1 GB each.
这意味着压缩文件是 BigQuery 中联合源支持的类型。
但是,当我尝试在 GCS 中查询 gz
文件时出现以下错误:
我用一个未压缩的文件进行了测试,它工作正常。 BigQuery 是否支持将压缩文件作为联合源,或者我是否误解了文档?
压缩模式默认为NONE,需要在外部table定义中明确指定。
在提出问题时,无法通过 UI 完成此操作。现在已修复此问题,应该会自动检测压缩数据。
有关更多背景信息,请参阅:
https://cloud.google.com/bigquery/docs/reference/v2/jobs#configuration.query
有趣的参数是"configuration.query.tableDefinitions.[key].compression"。
根据 BigQuery 联合来源documentation:
[...]or are compressed must be less than 1 GB each.
这意味着压缩文件是 BigQuery 中联合源支持的类型。
但是,当我尝试在 GCS 中查询 gz
文件时出现以下错误:
我用一个未压缩的文件进行了测试,它工作正常。 BigQuery 是否支持将压缩文件作为联合源,或者我是否误解了文档?
压缩模式默认为NONE,需要在外部table定义中明确指定。
在提出问题时,无法通过 UI 完成此操作。现在已修复此问题,应该会自动检测压缩数据。
有关更多背景信息,请参阅: https://cloud.google.com/bigquery/docs/reference/v2/jobs#configuration.query
有趣的参数是"configuration.query.tableDefinitions.[key].compression"。