AWS mirgate 数据从 MongoDB 到 DynamoDB/S3/Redshift
AWS mirgate data from MongoDB to DynamoDB/S3/Redshift
问题是目前无法通过 AWS DMS 服务将数据从 MongoDB 迁移到 DynamoDB/S3/Redshift,因为它不支持所有数据类型。或许我错了。
问题是我们的 Mongo 对象不包含标量字段(数组、映射)。
因此,当我使用 table 模式通过 AWS DMS 执行迁移任务时,它会提取数据 badly.Buy 某些原因只有选择有效。 DMS 忽略转换规则(尝试重命名和删除)。
在 doc 模式下一切正常,但是我如何 运行 使用一些自定义脚本进行迁移以进行转换?因为这样存储数据还需要改造
我们需要进行一些修改,例如:重命名、删除字段和展平某些字段(例如,我们有一个地图对象,它应该展平成几个标量字段)。
应迁移到以下来源之一:S3、Dyanamo、Redshift
如有任何帮助和建议,我们将不胜感激。
使用以下脚本备份 MongoDB 数据库
mongodump -h localhost:27017 -d my_db_name -o $DEST
使用以下命令将备份同步到 S3 存储桶
aws s3 sync ~/db_backups s3://my-bucket-name
一旦您的数据在 S3 中,您可以使用复制命令非常轻松地加载到 Redshift
问题是目前无法通过 AWS DMS 服务将数据从 MongoDB 迁移到 DynamoDB/S3/Redshift,因为它不支持所有数据类型。或许我错了。
问题是我们的 Mongo 对象不包含标量字段(数组、映射)。 因此,当我使用 table 模式通过 AWS DMS 执行迁移任务时,它会提取数据 badly.Buy 某些原因只有选择有效。 DMS 忽略转换规则(尝试重命名和删除)。
在 doc 模式下一切正常,但是我如何 运行 使用一些自定义脚本进行迁移以进行转换?因为这样存储数据还需要改造
我们需要进行一些修改,例如:重命名、删除字段和展平某些字段(例如,我们有一个地图对象,它应该展平成几个标量字段)。
应迁移到以下来源之一:S3、Dyanamo、Redshift
如有任何帮助和建议,我们将不胜感激。
使用以下脚本备份 MongoDB 数据库
mongodump -h localhost:27017 -d my_db_name -o $DEST
使用以下命令将备份同步到 S3 存储桶
aws s3 sync ~/db_backups s3://my-bucket-name
一旦您的数据在 S3 中,您可以使用复制命令非常轻松地加载到 Redshift