亚马逊 s3cmd ls latest/random 10 个对象

Question

我想在包含数十亿个对象的 S3 存储桶中看到 n 个随机对象（或最新的 n 个对象）。我怎样才能在不降低 EC2 实例性能或弄乱上述 S3 存储桶的情况下做到这一点？

Answer 1

我认为你最好的选择是使用关于你的 s3 对象的元数据维护一个数据库，也许在 Dynamodb 或 RDS 中。在那里执行查询，然后使用结果找到 'n' random/newest 文件。

对于更少的对象，您可以列出所有文件，然后随机化或确定最新的 'on-the-fly'，但是对于数十亿个对象，如果您尝试扫描对象，您的性能将受到影响。