如何修复 "DocumentDB data migration tool "
How to fix "DocumentDB data migration tool "
我正在使用 DocumentDB 数据迁移工具将 AWS DynamoDB 数据迁移到 Azure CosmosDB,但我收到大型 table 数据的错误。
似乎 DocumentDB 数据迁移工具的最大数据传输容量为 500k 字节,但我有一个 dynamo DB table,其数据约为 315 Mb。
那么还有其他 methods/tools 用于从 Dynamo DB 到 cosmos DB 的数据传输吗?
我还尝试将 dynamo DB 转换为 JSON 文件并将其上传到 cosmos DB 集合,但 cosmos DB 集合的最大大小为 2mb。
在 image2 中仅显示大数据文件错误,而我尝试了小于 500k 字节大小的文件,它工作正常。
预览阶段
错误图片
So there is any other methods/tools for data transfer from Dynamo DB
to cosmos DB?
看来你被Cosmos的限制困住了DB.Since你可以将数据转换成json个文件,也许你可以考虑以下方式
1.Store 将 json 个文件放入 Azure Blob Storage.
2.Use Azure 数据工厂数据工厂Copy Activity to transfer data from blob storage to cosmos db。
我早就预料到你会遇到大数据的性能瓶颈,请参考这篇document。
如果还是不能顺利传输,建议你用代码对json文件进行分片,不要超过2MB。
温馨提示:对了,你可以投赞成票feedback来推动在Azure数据工厂中添加Amazon DynamoDb数据源的进度。
谢谢。
因为我在 dyanamo DB 中有大约 40 GB 的数据并且想将它移动到 Cosmos DB。
但是 cosmos DB 有一些限制,虽然直接复制将不允许 json 数据大小超过 2 mb。
我使用相同的工具将 DynamoDB 数据转换为 json 格式并存储在服务器上,完成后我使用相同的 DocumentDB 数据迁移工具将 json 数据上传到 cosmos DB。
感谢您的回复。
我正在使用 DocumentDB 数据迁移工具将 AWS DynamoDB 数据迁移到 Azure CosmosDB,但我收到大型 table 数据的错误。
似乎 DocumentDB 数据迁移工具的最大数据传输容量为 500k 字节,但我有一个 dynamo DB table,其数据约为 315 Mb。 那么还有其他 methods/tools 用于从 Dynamo DB 到 cosmos DB 的数据传输吗?
我还尝试将 dynamo DB 转换为 JSON 文件并将其上传到 cosmos DB 集合,但 cosmos DB 集合的最大大小为 2mb。 在 image2 中仅显示大数据文件错误,而我尝试了小于 500k 字节大小的文件,它工作正常。
预览阶段
错误图片
So there is any other methods/tools for data transfer from Dynamo DB to cosmos DB?
看来你被Cosmos的限制困住了DB.Since你可以将数据转换成json个文件,也许你可以考虑以下方式
1.Store 将 json 个文件放入 Azure Blob Storage.
2.Use Azure 数据工厂数据工厂Copy Activity to transfer data from blob storage to cosmos db。
我早就预料到你会遇到大数据的性能瓶颈,请参考这篇document。
如果还是不能顺利传输,建议你用代码对json文件进行分片,不要超过2MB。
温馨提示:对了,你可以投赞成票feedback来推动在Azure数据工厂中添加Amazon DynamoDb数据源的进度。
谢谢。
因为我在 dyanamo DB 中有大约 40 GB 的数据并且想将它移动到 Cosmos DB。 但是 cosmos DB 有一些限制,虽然直接复制将不允许 json 数据大小超过 2 mb。
我使用相同的工具将 DynamoDB 数据转换为 json 格式并存储在服务器上,完成后我使用相同的 DocumentDB 数据迁移工具将 json 数据上传到 cosmos DB。
感谢您的回复。