AWS DMS - 计划的数据库迁移

Question

我在 RDS 中有 Postgresql 数据库。我需要每小时从 postgresql db 中的一堆表中获取数据并将数据推送到 S3 存储桶中。我只希望每小时发送增量更改（任何新的插入/更新）。是否可以使用 DMS 来执行此操作，或者 EMR 是否是执行此操作的更好工具？activity?

Answer 1

您可以使用 AWS DMS（数据迁移服务）任务创建一个将数据从 RDS 迁移到 S3 的自动化环境。

1. 创建源端点（读取您的 RDS 数据库 - Postgres、MySQL、Oracle 等...）；
2. 使用 S3 作为引擎端点创建目标端点（阅读：Using Amazon S3 as a Target for AWS Database Migration Service）；
3. 创建一个复制实例，负责在源数据和目标端点之间架起一座桥梁（您只需在处理时付费）；
4. 使用迁移类型字段上的选项 'Replication data change only' 创建数据库迁移任务；
5. 按照本文 Lambda with scheduled events e Start DMS tasks with boto3 in Python.
中的这些说明，创建一个启动 DMS 任务的 cron lambda，堆栈 Python

连接上面的这些资源，说不定就能得到你想要的

此致，

任南 S.