在 AWS S3 存储桶上组合 7z 块
Combine 7z chunks on an AWS S3 Bucket
我使用 7zip 将一个文件压缩成几个块:
拥有 - 以下内容保存在 AWS S3 存储桶中:
pic.7z.001
pic.7z.002
pic.7z.003
pic.7z.004
pic.7z.005
每个块为 700 MB。
想要 - 以下内容也保存在 AWS S3 存储桶中:
first step: pic.7z
second step: a folder called 'pic'
如果可能的话,我想全部在 AWS S3 上完成。
如何使用 python 将这些块解压缩并组合成一个文件?
在 S3 中无法执行此操作,因为 S3 仅负责存储。您可以在 AWS lambda 中执行此操作。您可以为每个块调用一个 lambda 函数并将该块加载到内存中,因为每个函数的最大磁盘 space 仅为 512 MB。然后初始化分段上传,并使用 S3 分段上传功能将每个块上传到 S3。最后,完成分段上传,S3 会自动将所有分段拼接成一个 7z 文件。
我使用 7zip 将一个文件压缩成几个块:
拥有 - 以下内容保存在 AWS S3 存储桶中:
pic.7z.001
pic.7z.002
pic.7z.003
pic.7z.004
pic.7z.005
每个块为 700 MB。
想要 - 以下内容也保存在 AWS S3 存储桶中:
first step: pic.7z
second step: a folder called 'pic'
如果可能的话,我想全部在 AWS S3 上完成。
如何使用 python 将这些块解压缩并组合成一个文件?
在 S3 中无法执行此操作,因为 S3 仅负责存储。您可以在 AWS lambda 中执行此操作。您可以为每个块调用一个 lambda 函数并将该块加载到内存中,因为每个函数的最大磁盘 space 仅为 512 MB。然后初始化分段上传,并使用 S3 分段上传功能将每个块上传到 S3。最后,完成分段上传,S3 会自动将所有分段拼接成一个 7z 文件。