AWS mirgate 数据从 MongoDB 到 DynamoDB/S3/Redshift

AWS mirgate data from MongoDB to DynamoDB/S3/Redshift

问题是目前无法通过 AWS DMS 服务将数据从 MongoDB 迁移到 DynamoDB/S3/Redshift,因为它不支持所有数据类型。或许我错了。

问题是我们的 Mongo 对象不包含标量字段(数组、映射)。 因此,当我使用 table 模式通过 AWS DMS 执行迁移任务时,它会提取数据 badly.Buy 某些原因只有选择有效。 DMS 忽略转换规则(尝试重命名和删除)。

在 doc 模式下一切正常,但是我如何 运行 使用一些自定义脚本进行迁移以进行转换?因为这样存储数据还需要改造

我们需要进行一些修改,例如:重命名、删除字段和展平某些字段(例如,我们有一个地图对象,它应该展平成几个标量字段)。

应迁移到以下来源之一:S3、Dyanamo、Redshift

如有任何帮助和建议,我们将不胜感激。

使用以下脚本备份 MongoDB 数据库

mongodump -h localhost:27017 -d my_db_name -o $DEST

使用以下命令将备份同步到 S3 存储桶

aws s3 sync ~/db_backups s3://my-bucket-name

一旦您的数据在 S3 中,您可以使用复制命令非常轻松地加载到 Redshift