AWS 数据库迁移服务 (DMS) MongoDB 到 S3 中的 CSV

Question

我需要使用 AWS Database Migration Service (DMS) 将数据从 MongoDB 移动到 S3 中的 CSV。我可以使用 table 模式导出到 S3 中的 CSV 并包含一个 header 行，但是 MongoDB 文档中的嵌套数组被导出为破坏 CSV 结构的字符串：

Mongo:

{ "_id" : 1234,
  "dealershipName": "Bills",
   "cars": [
       {"year": 2013,
        "model": "MongoCar",
        "mechanicNotes": "Runs great!"},
       {"year": 1985,
        "model": "DMC-12",
        "mechanicNotes": "Great Scott!"}
 ]
}

S3 中的 CSV：

124,"Bills","[{"year":2013", .........}]",

任何人都可以建议如何在保持 CSV 格式的同时使用 DMS 将 MongoDB 文档中的嵌套数组导出到 CSV（即没有数组的字符串作为 CSV 中的字段，但被分解进入字段 - 也许以某种方式在单独的 CSV 中）？

Answer 1

暂不支持。 AWS DMS 没有太多高级功能来将数组解析为单独的列和行。您应该使用其他一些 ETL 工具来这样做

Pentaho 是开源的，您可以使用它来设置源 (MongoDB) 和目标 (AWS S3)
如果您想在 AWS 中使用 AWS Glue 进行 ETL 和转换。
拼接数据 ETL 工具是最好的，只需点击几下即可。

AWS 数据库迁移服务 (DMS) MongoDB 到 S3 中的 CSV

AWS Database Migration Service (DMS) MongoDB to CSV in S3

mongodb

amazon-web-services

aws-dms