在 AWS S3 存储桶上组合 7z 块

Combine 7z chunks on an AWS S3 Bucket

我使用 7zip 将一个文件压缩成几个块:

拥有 - 以下内容保存在 AWS S3 存储桶中:

pic.7z.001
pic.7z.002
pic.7z.003
pic.7z.004
pic.7z.005

每个块为 700 MB。

想要 - 以下内容也保存在 AWS S3 存储桶中:

first step: pic.7z
second step: a folder called 'pic'

如果可能的话,我想全部在 AWS S3 上完成。

如何使用 python 将这些块解压缩并组合成一个文件?

在 S3 中无法执行此操作,因为 S3 仅负责存储。您可以在 AWS lambda 中执行此操作。您可以为每个块调用一个 lambda 函数并将该块加载到内存中,因为每个函数的最大磁盘 space 仅为 512 MB。然后初始化分段上传,并使用 S3 分段上传功能将每个块上传到 S3。最后,完成分段上传,S3 会自动将所有分段拼接成一个 7z 文件。