GCP 数据流 SQL 使用服务帐户导出

Question

我有一个服务帐户可以访问 BQ 视图，我想查询它并将数据导出到 GCS 或另一个项目中的 BQ 数据集。

Dataflow（+从 SQL 创建作业）看起来非常适合用例，但我不知道如何设置它，所以服务帐户用于查询。 Dataflow 似乎接受使用服务帐户，但这是如何完成的？

提前致谢，

Answer 1

如果您想将数据导出到另一个 BigQuery table，您可以简单地使用 INSERT INTO <table> SELECT * FROM ...（也称为 INSERT-SELECT）。如果你需要定期导出这个，你可以使用 scheduled queries

如果您想导出到 Google 云存储，您有 2 个解决方案

• 导出完整的 table，并使用 BigQuery export API（如果您想定期导出它们，可以使用 Cloud Scheduler 调用此 API）
• 使用export query语句。