将所有 S3 资产批量传输到 Google 云

Bulk transfer of all S3 assets to Google Cloud

出于多种原因,我希望将所有 S3 资产移动到 Google 云。但是,我有大约 25 个存储桶,每个存储桶中有数千个文件。我知道 Google 存储传输工具 - https://cloud.google.com/storage/transfer/getting-started - 但它一次只适用于一个存储桶。有什么可以同时完成的吗?

Google 云存储传输服务仍然是您的最佳选择,尤其是当您的存储桶非常非常大时。

如果您的存储桶不够大而无法设置它,您可以使用 gsutil 命令行工具和一些脚本来完成此操作:

for bucket in bucket1 bucket2 bucket3 bucket4 etc; do
  gsutil -m cp -r s3://$bucket/* gs://$bucket
done