Bigquery 在文件大小为 8GB 的 GCS 中导出 tables，甚至使用单个通配符 URI 将 table 导出到小于 1gb 的 chunksof 文件中
Bigquery exporting tables in GCS of file size 8GB even using single wildcard URI to export the table in less than 1 gb chunksof file
我尝试手动和使用命令行将具有 140GB 数据的大查询 table 导出到 GCS 存储桶中大小小于 1GB 的文件中。导出后总共创建了 168 个文件。使用命令行或使用大查询界面导出时，从 1 到 167 的所有文件都小于 1GB，但最后一个文件大约为 8GB。
这是 GCS 存储桶的屏幕截图。
我按照 Export bigquery table to GCS 将 table 导出到多个文件中，使用单个通配符 uri 将导出的 table 分成块。
我希望所有导出的文件都只有 1 GB 左右。有人可以帮我吗？谢谢
你看错了文档。
BigQuery 中没有每个文件导出配置 1GB。
您 have read 的 1GB 指的是您要导出的数据大小。
If you are exporting more than 1 GB of data, you must export your data
to multiple files. When you export your data to multiple files, the
size of the files will vary.
所以这表明如果您的 table 大于 1GB，您必须导出到多个文件。但它不会告诉您文件将小于 1GB，它告诉您文件大小会有所不同。
我尝试手动和使用命令行将具有 140GB 数据的大查询 table 导出到 GCS 存储桶中大小小于 1GB 的文件中。导出后总共创建了 168 个文件。使用命令行或使用大查询界面导出时，从 1 到 167 的所有文件都小于 1GB，但最后一个文件大约为 8GB。
这是 GCS 存储桶的屏幕截图。
我按照 Export bigquery table to GCS 将 table 导出到多个文件中，使用单个通配符 uri 将导出的 table 分成块。
我希望所有导出的文件都只有 1 GB 左右。有人可以帮我吗？谢谢
你看错了文档。
BigQuery 中没有每个文件导出配置 1GB。
您 have read 的 1GB 指的是您要导出的数据大小。
If you are exporting more than 1 GB of data, you must export your data to multiple files. When you export your data to multiple files, the size of the files will vary.
所以这表明如果您的 table 大于 1GB，您必须导出到多个文件。但它不会告诉您文件将小于 1GB，它告诉您文件大小会有所不同。