从 Google BigQuery 导出到 CloudSQL?

Export from Google BigQuery into CloudSQL?

我想将数据从 BigQuery(即报告)转储到 CloudSQL 数据库中,以编程方式实现此目的的最佳方法是什么?

我知道我可以 manually 通过 运行 BigQuery 查询,将其下载为 CSV,然后通过云控制台上传,但我想以编程方式执行此操作,最好是在Python/SQL.

如果您想转储整个 tables,可以结合使用 BigQuery 和 Cloud SQL APIs 来实现。

用于将 BigQuery table 提取到云存储的 BigQuery 文档 has an API example in python

数据进入云存储后,您可以使用 Cloud SQL Admin API 将数据导入 MySQL table.

如果您需要更精细的控制,可以使用 BigQuery API 执行查询、获取结果、连接到 Cloud SQL 实例并插入数据。如果数据量很大,这将不会执行得很好。

更复杂的方法是使用Dataflow将您感兴趣的数据写入Cloud Storage,然后使用Cloud SQL API导入。

(出于我自己的好奇心,您能否描述一下需要 Cloud SQL 而不是 BigQuery 中的数据的用例?这将有助于 me/us 了解我们的客户如何使用我们的产品以及在哪里我们可以改进。)