如何安排从 Google Big Query 到外部存储 space 的查询(导出数据)(例如:Box)

How to schedule a query (Export Data) from Google Big Query to External Storage space (Eg: Box)

我在 Google Big Query 中阅读了很多关于将查询调度到外部存储位置的文章和解决方案,但它们似乎并不那么清楚。

注意:我公司仅订阅了 Google Big Query 而不是完整的云服务(Google 云平台)。

我知道如何手动执行此操作,但我希望自动化该过程,因为我每周都需要相同的数据。

如有任何建议,我们将不胜感激。谢谢。

选项 1

您可以使用 Apache Airflow,它提供了使用 BigQuery 运算符在 BigQuery 上创建计划任务的选项。

您可以在此 link 中找到开始设置所需的基本步骤

选项 2

您可以使用 Google BigQuery command line 导出您的数据,就像您从 webUI 中所做的那样,例如:

bq --location=[LOCATION] extract --destination_format [FORMAT] --compression [COMPRESSION_TYPE] --field_delimiter [DELIMITER] --print_header [BOOLEAN] [PROJECT_ID]:[DATASET].[TABLE] gs://[BUCKET]/[FILENAME]

完成此工作后,您可以使用您喜欢的任何计划流程来安排此作业的 运行

顺便说一句:Airflow 有一个连接器,可以让您运行命令行工具

文件在 GCP 中后,您可以使用 Box G suite integration 查看和管理您的文件