如何修复 "DocumentDB data migration tool "

How to fix "DocumentDB data migration tool "

我正在使用 DocumentDB 数据迁移工具将 AWS DynamoDB 数据迁移到 Azure CosmosDB,但我收到大型 table 数据的错误。

似乎 DocumentDB 数据迁移工具的最大数据传输容量为 500k 字节,但我有一个 dynamo DB table,其数据约为 315 Mb。 那么还有其他 methods/tools 用于从 Dynamo DB 到 cosmos DB 的数据传输吗?

我还尝试将 dynamo DB 转换为 JSON 文件并将其上传到 cosmos DB 集合,但 cosmos DB 集合的最大大小为 2mb。 在 image2 中仅显示大数据文件错误,而我尝试了小于 500k 字节大小的文件,它工作正常。

预览阶段

错误图片

So there is any other methods/tools for data transfer from Dynamo DB to cosmos DB?

看来你被Cosmos的限制困住了DB.Since你可以将数据转换成json个文件,也许你可以考虑以下方式

1.Store 将 json 个文件放入 Azure Blob Storage.

2.Use Azure 数据工厂数据工厂Copy Activity to transfer data from blob storage to cosmos db

我早就预​​料到你会遇到大数据的性能瓶颈,请参考这篇document

如果还是不能顺利传输,建议你用代码对json文件进行分片,不要超过2MB。

温馨提示:对了,你可以投赞成票feedback来推动在Azure数据工厂中添加Amazon DynamoDb数据源的进度。

谢谢。

因为我在 dyanamo DB 中有大约 40 GB 的数据并且想将它移动到 Cosmos DB。 但是 cosmos DB 有一些限制,虽然直接复制将不允许 json 数据大小超过 2 mb。

我使用相同的工具将 DynamoDB 数据转换为 json 格式并存储在服务器上,完成后我使用相同的 DocumentDB 数据迁移工具将 json 数据上传到 cosmos DB。

感谢您的回复。