从 AWS EC2 EBS 下载大文件的最快方法
Fastest way to download large files from AWS EC2 EBS
假设我在 EC2 实例的块存储上累积了几个 TB 的数据文件。
将它们下载到本地计算机的最有效方法是什么？ scp？ ftp？ nfs？ http？ rsync？通过中间 s3 桶？通过多台机器下载 Torrent？是否有针对此特定问题的特殊工具或脚本？
需要有关此用例的更多信息。我希望以下概念对您有所帮助：
- HTTP - 快速、易于实施、用途广泛且开销小。
- Resilio（以前称为 BitTorrent Sync）- 快速、易于部署、分散且安全。可以处理传输中断。如果两个端点都位于 NAT 之后，则有效。
- rsync - 老派和众所周知的解决方案。可以恢复传输并快速同步大量数据。
- 上传到 S3 并从那里获取 - 上传到 S3 速度很快。 Next 您可以使用 HTTP(S) 或 BitTorrent 来本地获取数据。
请遵守以下规则：
- 作为一个文件移动，tar所有内容都放入一个存档文件中。
- 在与您的 EC2/EBS.
相同的区域创建 S3 存储桶
- 使用AWS CLI S3命令上传文件到S3 bucket。
- 使用 AWS CLI 将文件拉到您的本地或其他存储所在的任何地方。
这将是最简单、最有效的方法。
由于没有真正得到令人信服的答案，我决定自己做一个小测量。这是我得到的结果：
更多详情here。
假设我在 EC2 实例的块存储上累积了几个 TB 的数据文件。
将它们下载到本地计算机的最有效方法是什么？ scp？ ftp？ nfs？ http？ rsync？通过中间 s3 桶？通过多台机器下载 Torrent？是否有针对此特定问题的特殊工具或脚本？
需要有关此用例的更多信息。我希望以下概念对您有所帮助：
- HTTP - 快速、易于实施、用途广泛且开销小。
- Resilio（以前称为 BitTorrent Sync）- 快速、易于部署、分散且安全。可以处理传输中断。如果两个端点都位于 NAT 之后，则有效。
- rsync - 老派和众所周知的解决方案。可以恢复传输并快速同步大量数据。
- 上传到 S3 并从那里获取 - 上传到 S3 速度很快。 Next 您可以使用 HTTP(S) 或 BitTorrent 来本地获取数据。
请遵守以下规则：
- 作为一个文件移动，tar所有内容都放入一个存档文件中。
- 在与您的 EC2/EBS. 相同的区域创建 S3 存储桶
- 使用AWS CLI S3命令上传文件到S3 bucket。
- 使用 AWS CLI 将文件拉到您的本地或其他存储所在的任何地方。
这将是最简单、最有效的方法。
由于没有真正得到令人信服的答案，我决定自己做一个小测量。这是我得到的结果：
更多详情here。