使用 bigquery api 时表被截断(缓冲区大小问题?)

Tables truncated when using bigquery api (buffer size issue?)

我运行宁以下:

bq query --format=csv SELECT GKGRECORDID, DATE,SourceCommonName,DocumentIdentifier, V2Persons, V2Tone, TranslationInfo, from [gdelt-bq:gdeltv2.gkg_partitioned]where V2Persons like "%Orban%" and _PARTITIONTIME >= TIMESTAMP("2016-11-09") and _PARTITIONTIME < TIMESTAMP("2016-11-11")' > outputfile.csv

这应该 return 一个 table 大约有 1000 行(当我在浏览器中使用普通的 bigquery 界面时得到的)。但是,当我 运行 这个使用 api 时,它只会 return 100.

这似乎是缓冲区大小的问题,但我想我会问是否可以在 bigquery 端做一些事情(例如,一种以多个块发送查询输出的方法)解决这个问题。

谢谢!

在命令行中,您可以指定return编辑多少行,默认为最多 100 行。

bq query -n 1500

请注意,无论请求的行数如何,最大 return 压缩大小为 128MB。