使用 DataFlow 中的“从 SQL 选项卡创建作业”将数据从 BigQuery 导出到 Google Cloud SQL
Export Data from BigQuery to Google Cloud SQL using Create Job From SQL tab in DataFlow
我正在做一个项目，其中 c运行 正在处理数据并进行大量处理。所以我选择使用 BigQuery，因为它对 运行 分析查询有很好的支持。但是，计算出的最终结果存储在 table 中，该 table 必须为我的网页提供支持（用作 Transactional/OLTP）。我的理解是，BigQuery 不是 suitable 用于事务查询。我正在更多地研究其他替代方案，我意识到我可以使用 DataFlow 进行分析处理并将数据移动到云 SQL（relationalDb 符合我的目的）。
然而，似乎并没有想象中那么简单。首先，我必须创建一个管道以将数据移动到 GCP 存储桶，然后将其移动到 Cloud SQL.
有没有更好的管理方式？我可以在数据流中使用“从 SQL 创建作业”吗？我还没有找到任何使用“Create Job From SQL”来处理数据并将数据移动到 GCP Cloud SQL.
的示例
考虑一个关于 Robinhood 的简单示例：
通过查看他的投资组合来计算用户的 returns，并显示每月 returns 的图表。
除了管道使用之外，还有其他选项，但在所有情况下，您都无法将 table 数据导出到本地文件、表格或云端硬盘。唯一受支持的导出位置是云存储，如 Exporting table data 文档页面所述。
我正在做一个项目，其中 c运行 正在处理数据并进行大量处理。所以我选择使用 BigQuery，因为它对 运行 分析查询有很好的支持。但是，计算出的最终结果存储在 table 中，该 table 必须为我的网页提供支持（用作 Transactional/OLTP）。我的理解是，BigQuery 不是 suitable 用于事务查询。我正在更多地研究其他替代方案，我意识到我可以使用 DataFlow 进行分析处理并将数据移动到云 SQL（relationalDb 符合我的目的）。
然而，似乎并没有想象中那么简单。首先，我必须创建一个管道以将数据移动到 GCP 存储桶，然后将其移动到 Cloud SQL.
有没有更好的管理方式？我可以在数据流中使用“从 SQL 创建作业”吗？我还没有找到任何使用“Create Job From SQL”来处理数据并将数据移动到 GCP Cloud SQL.
的示例考虑一个关于 Robinhood 的简单示例： 通过查看他的投资组合来计算用户的 returns，并显示每月 returns 的图表。
除了管道使用之外，还有其他选项，但在所有情况下，您都无法将 table 数据导出到本地文件、表格或云端硬盘。唯一受支持的导出位置是云存储，如 Exporting table data 文档页面所述。