如何将数据从 Redshift 迁移到 BigQuery
How to migrate data from Redshift to BigQuery
我需要将数据从 RDS 迁移到 BQ，这样我就可以 运行 在 Vertex AI 上建立模型。
来自 RDS 的 tables 需要尽快在 BQ 上，主数据库和 BQ 副本之间的同步延迟要低。
我想创建一个触发器，当RDS上的数据库更新时，它会自动更新BQ数据库。
我看到了 BQ 数据传输服务工具，它可以用于这种情况吗？
我可以在触发时间的基础上为每个作业迁移多个 table 吗？
BigQuery Data Transfer Service 是 GCP 中提供的用于红移迁移到 Bigquery 的工具。对于迁移的先决条件和权限等要求，您可以参考此 GCP 文档：https://cloud.google.com/bigquery-transfer/docs/redshift-migration#overview
对于从 redshift 到 Bigquery 的实时更新要求，BigQuery Data Transfer 仅按计划、托管方式进行传输。 GCP 文档：https://cloud.google.com/bigquery-transfer/docs/introduction
对于在触发时间基础上每个作业迁移多个 table 的要求，BigQuery 的每个加载作业每个 table 的负载配额为 15 TB。您可以参考此文档了解配额和限制：https://cloud.google.com/bigquery-transfer/docs/redshift-migration#quotas_and_limits。
鉴于此限制，GCP 通过提出以下公式来帮助您估算传输效率需要多少负载作业：
Number of daily jobs = Number of transfers x Number of tables x Schedule frequency x Refresh window
你可以参考这个文档来进一步解释这个公式：https://cloud.google.com/bigquery-transfer/quotas#load_jobs
我需要将数据从 RDS 迁移到 BQ，这样我就可以 运行 在 Vertex AI 上建立模型。
来自 RDS 的 tables 需要尽快在 BQ 上，主数据库和 BQ 副本之间的同步延迟要低。
我想创建一个触发器，当RDS上的数据库更新时，它会自动更新BQ数据库。
我看到了 BQ 数据传输服务工具，它可以用于这种情况吗？
我可以在触发时间的基础上为每个作业迁移多个 table 吗？
BigQuery Data Transfer Service 是 GCP 中提供的用于红移迁移到 Bigquery 的工具。对于迁移的先决条件和权限等要求，您可以参考此 GCP 文档：https://cloud.google.com/bigquery-transfer/docs/redshift-migration#overview
对于从 redshift 到 Bigquery 的实时更新要求，BigQuery Data Transfer 仅按计划、托管方式进行传输。 GCP 文档：https://cloud.google.com/bigquery-transfer/docs/introduction
对于在触发时间基础上每个作业迁移多个 table 的要求，BigQuery 的每个加载作业每个 table 的负载配额为 15 TB。您可以参考此文档了解配额和限制：https://cloud.google.com/bigquery-transfer/docs/redshift-migration#quotas_and_limits。 鉴于此限制，GCP 通过提出以下公式来帮助您估算传输效率需要多少负载作业：
Number of daily jobs = Number of transfers x Number of tables x Schedule frequency x Refresh window
你可以参考这个文档来进一步解释这个公式：https://cloud.google.com/bigquery-transfer/quotas#load_jobs