如何将每个给定长度的行的 Bigquery table 提取到 Google 存储中的 csv 文件?

How to extract Bigquery table for every given length of rows to csv file in Google Storage?

例如,我在 bigquery 中有一个 table 有 1000 万行,我想每 10 万行提取这个 table 到 Google 存储。为了清楚起见,我想要 100 个 csv 文件,每个文件在 bigquery table.

中有 100k 不同的行
bq extract --noprint_header dataeset.abigtable gs://bucket/output/*.csv

将上述代码输入 gcloud shell,table 将在 google 存储中拆分为 10 个左右的文件。但是,我无法控制每个文件中有多少行。我该如何控制它?

没有 flag which you can use to make your use-case possible. If you think this feature would be helpful, you can file this as a feature request,尽管需要一些星数才能让 BigQuery 团队优先考虑此功能请求。为了使其更有意义,应该有一个业务用例来说明您为什么需要这样的用例(例如,为什么您需要导出的 csv 文件每个都有 100k 行?)。