Amazon Glacier - 根据前缀检索文件

Amazon Glacier - Retrieval of files base on prefix

您的建议对我的项目会有很大的帮助。

计划使用 Amazon glacier 存储 cron 作业的输出以进行长期存储。 Cron Job 输出将每天生成,每个文件将采用以下名称格式

03-04-2017-output-1.txt
03-04-2017-output-2.txt
04-04-2017-output-1.txt
04-04-2017-output-2.txt

是否可以检索带有日期前缀的文件合并的单个文件? 例如,我想检索在 03-04-2017 上生成的文件,因此一个包含 03-04-2017-output-1.txt、03-04-2017-output-2.txt 的单个 zip 文件 是否可以根据文件名select文件并检索?

看了AWS amazon glacier的文档,了解了关于基于MB的范围检索,是否可以根据文件名检索?

您提到了 zip 文件中的文件存储,它实际上与所有存储服务无关,因为挖掘 ZIP 内容是浪费 CPU 资源和高风险的做法(例如存档 bomb/zip炸弹)。

所以需要直接对存储的对象进行处理

恕我直言,您最好的选择是创建您的 S3 storage inventory。只要您确保为您的压缩日志文件提供正确的 date/etc 索引 prefix/suffix。如果您还想将中期内容存储在 S3 标准和标准 IA 存储中,这也很有用。

正如 AWS Glacier FAQ

所述

Q: Can I see what archives I have stored in Amazon Glacier?

Yes. Although you will need to maintain your own index of data you upload to Amazon Glacier, an inventory of all archives in each of your vaults is maintained for disaster recovery or occasional reconciliation purposes. The vault inventory is updated approximately once a day. You can request a vault inventory as either a JSON or CSV file and will contain details about the archives within your vault including the size, creation date and the archive description (if you provided one during upload). The inventory will represent the state of the vault at the time of the most recent inventory update.