从 S3 到 GCS 的定期传输
Recurring Transfer from S3 to GCS
我在 S3 上有一个存储桶，我想备份到 GCS，甚至可能是 Nearline。根据我的研究，我似乎可以在 GCE 上使用 gsutil 运行 来做到这一点。我不确定的是如何使它成为一个经常性的转移。也许每月一次它会检查 S3 存储桶并将任何新内容移至 GCS。这可以用 gsutil 实现吗？
谢谢！
如果要备份，我建议使用gsutil rsync:
gsutil -m rsync s3://s3-bucket gs://gs-bucket
与gsutil cp 命令不同，这只会复制差异。如果要在从源中删除项目时从目标中删除项目，可以使用 -d 标志：
gsutil -m rsync -d s3://s3-bucket gs://gs-bucket
gsutil rsync docs 中提供了更多信息。
在 daily/weekly/monthly 的基础上为上述 运行 之一设置一个 cron 作业应该可以处理重复出现的方面。
或者您可以考虑 Online Cloud Import；这仍处于测试阶段，但它允许您在不使用 gsutil.
的情况下执行上述操作
我在 S3 上有一个存储桶，我想备份到 GCS，甚至可能是 Nearline。根据我的研究，我似乎可以在 GCE 上使用 gsutil 运行 来做到这一点。我不确定的是如何使它成为一个经常性的转移。也许每月一次它会检查 S3 存储桶并将任何新内容移至 GCS。这可以用 gsutil 实现吗？
谢谢！
如果要备份，我建议使用gsutil rsync:
gsutil -m rsync s3://s3-bucket gs://gs-bucket
与gsutil cp 命令不同，这只会复制差异。如果要在从源中删除项目时从目标中删除项目，可以使用 -d 标志：
gsutil -m rsync -d s3://s3-bucket gs://gs-bucket
gsutil rsync docs 中提供了更多信息。
在 daily/weekly/monthly 的基础上为上述 运行 之一设置一个 cron 作业应该可以处理重复出现的方面。
或者您可以考虑 Online Cloud Import；这仍处于测试阶段，但它允许您在不使用 gsutil.