如何配置 AWS DMS 以将多个完整加载文件保存在同一个 s3 目标位置?
How to configure AWS DMS to keep multiple full load files in the same s3 target destination?
我在 AWS RDS 上有一个 table 运行。我想每周使用 AWS DMS 导出 table 上的所有数据。导出后的每个星期,我都会截断 table,这样每个下一阶段源 table 都会有新数据,我计划执行 DMS 任务以安全地从 RDS table 卸载数据.
我已将 RDS 源和 S3 存储桶配置为目标,以将数据导出为 CSV。复制类型仅为完全加载,它会迁移现有数据(无持续复制)。
但我发现的问题是,每当我下周对 DMS 任务执行 reload-target
操作时,DMS 总是从目标 s3 中删除旧的 LOADXXXXXXX.csv
文件。
我怎样才能实现我的目标?如何配置 AWS DMS 以将多个完整加载文件保存在同一个 s3 目标位置?
这是在另一个帖子中说的 [这里][1]:
For DMS the incremental counter is started over from 1 each time the task is run. It does not have a "Don't override existing objects" feature.
直到今天,还无法更改文件命名。因此,为此,您必须将执行结果放在不同的文件夹中。
[1]:
我能够在 S3 目标端使用一些技巧将旧加载文件保留在 s3 中。 AWS DMS 确实没有提供任何东西来在重新启动 DMS 任务后保留旧的加载文件。但是,如果您在目标 S3 存储桶中打开 版本控制,那么您可以将旧加载文件保留为以前的版本。
这个解决方案能够满足我的要求。
我在 AWS RDS 上有一个 table 运行。我想每周使用 AWS DMS 导出 table 上的所有数据。导出后的每个星期,我都会截断 table,这样每个下一阶段源 table 都会有新数据,我计划执行 DMS 任务以安全地从 RDS table 卸载数据.
我已将 RDS 源和 S3 存储桶配置为目标,以将数据导出为 CSV。复制类型仅为完全加载,它会迁移现有数据(无持续复制)。
但我发现的问题是,每当我下周对 DMS 任务执行 reload-target
操作时,DMS 总是从目标 s3 中删除旧的 LOADXXXXXXX.csv
文件。
我怎样才能实现我的目标?如何配置 AWS DMS 以将多个完整加载文件保存在同一个 s3 目标位置?
这是在另一个帖子中说的 [这里][1]:
For DMS the incremental counter is started over from 1 each time the task is run. It does not have a "Don't override existing objects" feature.
直到今天,还无法更改文件命名。因此,为此,您必须将执行结果放在不同的文件夹中。 [1]:
我能够在 S3 目标端使用一些技巧将旧加载文件保留在 s3 中。 AWS DMS 确实没有提供任何东西来在重新启动 DMS 任务后保留旧的加载文件。但是,如果您在目标 S3 存储桶中打开 版本控制,那么您可以将旧加载文件保留为以前的版本。
这个解决方案能够满足我的要求。