将大量数据同步到 s3 (aws)
sync large amount of data to s3 (aws)
我需要将 2.5TB 的数据从文件系统同步到 AWS 中的 s3。
我将使用 AWS CLI 命令：
" aws s3 sync .s3://MyBucket "
此命令会将当前文件夹同步到 s3 中名为 MyBucket 的存储桶。
我的问题是：
1）是否可以一次完成而不超时？
2) limits/problem 考虑到数据量，我期望的是什么？
假设您谈论的是单个文件，还是几个非常大的文件？如果是：
1) 是的，文件将分成小部分上传，因此您不必担心这类事情。
2）需要很长时间，这是不可避免的。如果给定文件部分的上传失败次数过多，将中止上传。
我需要将 2.5TB 的数据从文件系统同步到 AWS 中的 s3。
我将使用 AWS CLI 命令：
" aws s3 sync .s3://MyBucket "
此命令会将当前文件夹同步到 s3 中名为 MyBucket 的存储桶。
我的问题是：
1）是否可以一次完成而不超时？
2) limits/problem 考虑到数据量，我期望的是什么？
假设您谈论的是单个文件，还是几个非常大的文件？如果是：
1) 是的，文件将分成小部分上传，因此您不必担心这类事情。 2）需要很长时间，这是不可避免的。如果给定文件部分的上传失败次数过多，将中止上传。