许多小文件与 AWS S3 和 Glacier 的 1 个大文件:

Many small files Vs 1 big file for AWS S3 and Glacier :

我有一个流媒体服务器作为 EC2 实例,视频块持续时间为 8 秒。我想将流存档用于审计目的,所以我每 1 分钟将流记录为一个文件

我应该将 8 秒的块保存到 S3,然后再保存到 Glacier 还是保存组合的 1 分钟文件

在成本和性能方面哪个选择更好?对于 s3,然后对于 Glacier

所以,回答你的问题:

您应该上传更大的文件,即合并后的 1 分钟文件。

在成本方面,S3 和 Glacier 除了按您使用的每 GB 存储量之外,还按请求向您收费,因此上传更大的块意味着对 S3 和 Glacier 的请求更少,从而节省成本。

在性能方面,您在评论中说您很少需要检索文件,所以我建议您使用Glacier。但请注意,一旦您将文件放入 Glacier 中,将需要几个小时才能将其取回,因此它仅适用于您很少需要数据的情况,如果不需要的话。

如果您需要经常检索数据,您应该使用 S3(数据检索是即时的)。但是S3的存储收费比Glacier高,所以两者各有利弊。