在 AWS Glacier 中,有什么方法可以减少文件请求?
In AWS Glacier, is there any way to reduce request of file?
当我上传存档时,我知道上传价格为空,但请求超过 200 000,所以我的估计账单是 15-20 美元,所以我有一个办法,我把它全部将文件压缩为 zip 或 tar(压缩),还有其他方法可以减少我上传存档的请求吗?
首先,冰川是为档案而建的,即用于长期保留数据,其中检索很少见且不常见。除非非常罕见的情况,否则不应访问它。将 Glacier 想象成一个仓库,您可以在其中打包数据并寄存。
因此您不应该向 Glacier 发出大量请求,如果是这样您应该考虑改用 S3。
也就是说,您应该避免 zip/tar 将所有文件都放在一个存档文件中,因为您每个月最多可以免费检索平均每月存储空间的 5%。
但是,请记住,每个存档对象都有 32 kb 的数据开销与之关联。因此,3.2 MB 的存档大小只有 1% 的成本开销,而 1KB 的存档将有 97% 的成本开销。
因此,如果您的文件太小,请将它们聚合成更大的文件;如果文件太大,请将它们分成较小的文件。
你只需要找到良好的平衡,让你的档案足够容易浏览,例如使用档案描述或本地索引(例如 nosql 存储),或两者兼而有之。
当我上传存档时,我知道上传价格为空,但请求超过 200 000,所以我的估计账单是 15-20 美元,所以我有一个办法,我把它全部将文件压缩为 zip 或 tar(压缩),还有其他方法可以减少我上传存档的请求吗?
首先,冰川是为档案而建的,即用于长期保留数据,其中检索很少见且不常见。除非非常罕见的情况,否则不应访问它。将 Glacier 想象成一个仓库,您可以在其中打包数据并寄存。
因此您不应该向 Glacier 发出大量请求,如果是这样您应该考虑改用 S3。
也就是说,您应该避免 zip/tar 将所有文件都放在一个存档文件中,因为您每个月最多可以免费检索平均每月存储空间的 5%。
但是,请记住,每个存档对象都有 32 kb 的数据开销与之关联。因此,3.2 MB 的存档大小只有 1% 的成本开销,而 1KB 的存档将有 97% 的成本开销。
因此,如果您的文件太小,请将它们聚合成更大的文件;如果文件太大,请将它们分成较小的文件。 你只需要找到良好的平衡,让你的档案足够容易浏览,例如使用档案描述或本地索引(例如 nosql 存储),或两者兼而有之。