将数据从一个 AWS RDS 实例传输到另一个实例的最有效方法是什么

What's the most efficient way to transfer data from one AWS RDS instance to another

我正在为一个在 AWS 上使用多个 RDS (MySQL) 实例的客户工作,并希望我将来自那里和其他来源的数据整合到一个实例中并进行报告。

将选择性数据从其他 AWS RDS MySQL 实例传输到我的实例的最有效方法是什么?

我不想迁移整个数据库,而只想迁移一些列和行,这些列和行具有相关数据和最后的内容 created/updated。

一种选择是使用 PHP 脚本,该脚本从一个数据库读取并将其插入另一个数据库,但效率非常低。与 SQL 服务器或 ORACLE 不同,MySQL 也没有跨服务器编写查询的能力,否则我会在存储过程中使用它。

如有任何意见,我将不胜感激。

你看过RDS migration tool了吗?

如果您的整体 objective 是报告和分析,标准做法是将您的事务数据从 RDS 移动到 Redshift,这将成为您的数据仓库。 AWS 的这篇 blog 文章提供了一种方法。

对于合并操作,您可以使用 AWS Data Migration Service,这将允许您使用以下选项按列迁移数据。

  • 迁移现有数据
  • 迁移现有数据并复制正在进行的更改
  • 仅复制数据更改

有关详细信息,请阅读此 whitepaper

注意:如果需要边移动边处理数据,使用AWS Data Pipeline