如何将 1tb table 从 RDS MySql 数据库移动到 bigquery？

Question

我有一个包含三列复合键的 tables，table 的大小为 330 GB，但索引的大小为 660 GB。

目前我正在研究 select 数据的解决方案并将其作为 csv 导出到 gcs，之后它将加载到 BigQuery 中。

根据limit和offset来选择，很费时间。在创建时间列之类的东西上分区 table 然后迁移它更好吗？

Answer 1

Google BigQuery 能够从 Parquet 导入，您可以将 RDS 快照导出到 parquet。

• The docs tell you how to export a snapshot to S3.

• 之后您可以将这些文件移动到 GCP 和 import them to BigQuery。

将快照导出到 S3 实际上不会影响您的数据库，因为它在后台运行。由于 parquet 被大量压缩，这可能对您的数据传输成本也有好处 ;-)