如何将数据从 Bigquery 导出到 Postgres

How to export data from Bigquery to Postgres

我有以下问题,希望收到有关如何解决某项任务的建议。我有一个 table 存储在 BigQuery 中,我想在 PostgresSQL 数据库中创建此 table+ 数据的副本。此 Postgres 在 CloudSQL 中。

此导出将每天进行,也就是说,相同的 table 将每天导出到 Postgres,因此理想情况是该解决方案可以自动化以便重复。不能手动解决

我该如何解决这个问题?

谢谢

您可以使用 BigQuery 和 CloudSQL API 来执行此操作,exporting the BQ table as CSV to cloud storage and then importing the file as table in CloudSQL. Then you can automate this process using Cloud Functions + Cloud Scheduler (or even Cloud DataFlow 用于更复杂的管道)。