从 Digital Ocean Space 迁移到亚马逊 AWS

Migrate from Digital Ocean Space to Amazon AWS

目标

我需要将数以千计的对象从 Digital Ocean Space 移动到 Amazon AWS。所有文件均为图片,总大小约为36GB。

我面临的问题:

谷歌搜索我发现我们可以从 Amazon AWS 转移到 Digital Ocean Spaces,但反过来不行。

我发现了什么

我找到的所有代码都是关于将多个对象上传到存储桶,而不是从存储桶下载它们。

基于 Digital Ocean 的文章 How To Migrate from Amazon S3 to DigitalOcean Spaces with rclone, it seems that you can use rclone 在两个服务之间进行复制(双向)。

我已经接受了 John Rotestein 的回答,但 Digital Ocean 也回答了我的问题。

有一种方法可以使用 Cyber​​duck 下载 Windows 中的所有 Digital Ocean 空间内容:

https://www.digitalocean.com/community/tutorials/how-to-manage-digitalocean-spaces-with-cyberduck

然后您可以构建一个脚本来循环您的目录并将对象发送到 Amazon AWS。如果你不知道如何,你可以开始 here and here.

更新 如果文件太多,Cyber​​duck 会在一段时间后卡住。所以我正在使用这个 link 中的 S3EXPLORER,它也有安装说明:- http://s3browser.com/download.aspx

我在使用 rclone 时遇到了问题。它太复杂了,所以我构建了一个 PHP 脚本来自动执行此操作。您需要为两个 DO Space/AWS 存储桶设置 API key/secret,仅此而已。

https://gitlab.com/exevio-open-source/digitalocean-spaces-transfer

当我们迁移包含超过 2TB 文件的帐户时,对我的公司来说效果很好。