Big Query table 在本地机器中被提取为 JSON

Question

我对如何使用 Bq 提取命令将 Table 数据提取到云存储有一个想法，但我更想知道是否有提取大查询的任何选项 table作为换行符分隔 JSON 到本地计算机？

我可以通过 CLI 将 Table 数据提取到 GCS，也可以从 WEB 下载 JSON 数据 UI 但我正在寻找使用 BQ CLI 下载的解决方案 table本地计算机中的数据为 JSON？。我想知道这是否可能？

Answer 1

您需要使用 Google 云存储进行导出作业。解释了从 BigQuery 导出数据 here，还检查了不同路径语法的变体。

然后您可以将文件从 GCS 下载到您的本地存储。

Gsutil 工具可以帮助您进一步将文件从 GCS 下载到本地机器。

您首先需要导出到 GCS，然后再传输到本地机器。

如果你使用BQ Cli工具，那么你可以将输出格式设置为JSON，你可以重定向到一个文件。这样你可以在本地实现一些导出，但是它有一些其他的限制。

这会将前 1000 行导出为 JSON

bq --format=prettyjson query --n=1000 "SELECT * from publicdata:samples.shakespeare" > export.json

Answer 2

可以在不使用 GCS 的情况下使用 BQ CLI 将数据直接提取到您的本地计算机。

详情请看我的另一个回答：BigQuery Table Data Export

Big Query table to be extracted as JSON in Local machine