Google 存储传输服务成本效益
Google Storage Transfer Service cost-efficiency
我需要将包含大量文件（800k 文件，400GB）的 aws s3 存储桶备份到 google 云存储。
Google 存储传输服务似乎是一个简单的解决方案，但我对成本效益有些怀疑。
第一次它将下载整个 s3 存储桶：
- aws 上的 400 GB 传出流量
- 800k 在 aws 上获取请求
- 800k 将请求放入 google 存储
第二次及以后呢？
费用与第一次相同还是只下载 changed/new 个文件？
根据 Creating and Managing Data Transfers with the Console 上的文档："By default, Storage Transfer Service only overwrites an object when the source version is different from the sink version."
因此，第二次的成本将是 S3 和 GCS 存储桶上的列表操作的成本（需要比较以查看发生了什么变化），加上发生任何变化的 GET 和 PUT。我相信对象通常一次列出 1,000 个（根据每个服务中对象列表的最大页面大小）。因此，如果没有对象更改，您可以预计在您的场景中，每次后续传输的成本约为 S3 中的 800 次列表操作和 GCS 中的 800 次列表操作。
进入 gcp 是免费的。因此，每次都创建一个新备份，并且只保留最新的 5 个（或其他）。这样你就不需要担心覆盖等问题，而且你可以将任何文件回滚到 N 个版本之前。
我需要将包含大量文件（800k 文件，400GB）的 aws s3 存储桶备份到 google 云存储。 Google 存储传输服务似乎是一个简单的解决方案，但我对成本效益有些怀疑。
第一次它将下载整个 s3 存储桶：
- aws 上的 400 GB 传出流量
- 800k 在 aws 上获取请求
- 800k 将请求放入 google 存储
第二次及以后呢？
费用与第一次相同还是只下载 changed/new 个文件？
根据 Creating and Managing Data Transfers with the Console 上的文档："By default, Storage Transfer Service only overwrites an object when the source version is different from the sink version."
因此，第二次的成本将是 S3 和 GCS 存储桶上的列表操作的成本（需要比较以查看发生了什么变化），加上发生任何变化的 GET 和 PUT。我相信对象通常一次列出 1,000 个（根据每个服务中对象列表的最大页面大小）。因此，如果没有对象更改，您可以预计在您的场景中，每次后续传输的成本约为 S3 中的 800 次列表操作和 GCS 中的 800 次列表操作。
进入 gcp 是免费的。因此，每次都创建一个新备份，并且只保留最新的 5 个（或其他）。这样你就不需要担心覆盖等问题，而且你可以将任何文件回滚到 N 个版本之前。