将一个 s3 存储桶复制到另一个存储桶太慢了,我怎样才能做得更快?

Copying an s3 bucket to another bucket is too slow, how can I do it faster?

使用以下命令将 S3 存储桶复制到另一个存储桶太慢:

aws s3 cp s3://bucket1 s3://bucket2 --recursive

使用awscli。但这太慢了。因为我的 bucket1 包含太多文件。 12 小时内仅复制了 3,000,000 张图像。

寻找有助于加快复制过程的建议。

如前所述,上述方法是将大量数据从源传输到目标的推荐做法。

S3 Optimized Transfer

此外,您还可以在存储桶上启用 Amazon S3 传输加速功能(这会产生一些费用),但它会将您的传输速度提高到 100%

Amazon S3 Transfer Accelaration

您可以将此脚本与多线程一起使用:

https://github.com/paultuckey/s3_bucket_to_bucket_copy_py