如何使用miniz创建一个可以用gzip解压的压缩文件?

How to use miniz to create a compressed file that can be decompressd by gzip?

我正在 windows 平台上用 C++ 编写程序。我想压缩一些存储在char[]数组中的数据,并将其输出到一个文件,稍后我将文件上传到一个unix服务器,我希望它可以被gzip -d解压。

经过大量研究,我选择miniz. Also, I found the gzip file format here

这是创建 gzip 文件的代码片段:(抱歉,我没有放置一些变量的定义;它们在其他地方定义)

unsigned long zsize;
zpkg[0] = 0x1F;
zpkg[1] = 0x8B;
zpkg[2] = 8;
zpkg[3] = 0;
zpkg[4] = 0;
zpkg[5] = 0;
zpkg[6] = 0;
zpkg[7] = 0;
zpkg[8] = 0;
zpkg[9] = 0xFF;
compress2(zpkg + 10, &zsize, pkg, pkgSize, MZ_DEFAULT_LEVEL);
int footerStart = (int)zsize + 10;
mz_ulong crc = mz_crc32(MZ_CRC32_INIT, zpkg + 10, zsize);
zpkg[footerStart] = crc & 0xFF;
zpkg[footerStart + 1] = (crc >> 8) & 0xFF;
zpkg[footerStart + 2] = (crc >> 16) & 0xFF;
zpkg[footerStart + 3] = (crc >> 24) & 0xFF;
zpkg[footerStart + 4] = pkgSize & 0xFF;
zpkg[footerStart + 5] = (pkgSize >> 8) & 0xFF;
zpkg[footerStart + 6] = (pkgSize >> 16) & 0xFF;
zpkg[footerStart + 7] = (pkgSize >> 24) & 0xFF;

稍后只需将 zpkg 数组输出到文件。但是,这是行不通的;当我用 gzip 解压缩它时,错误消息是:

gzip: data stream error
gzip: test.gz: uncompress failed

谁能指出我做错了什么?



感谢 Mark Adler 和 Michael,我找到了可行的解决方案。

首先,正如 Mark 所指出的,我应该使 miniz return 成为原始压缩数据流。这可以通过将 -MZ_DEFAULT_WINDOW_BITS(注意减号)作为第四个参数传递给 mz_deflateInit2() 来完成。查看 miniz 源代码,compress2() 函数最终调用 mz_deflateInit2()MZ_DEFAULT_WINDOW_BITS,这意味着添加 zlib 页眉和页脚。所以最简单的修复方法是在那里添加一个减号,这样我仍然可以使用 compress2() 函数。 (这对我有用,因为我只在一个地方调用这个函数)

其次,正如 Michael 所指出的,CRC 代码应该在未压缩的数据上计算。所以我这样修复它:

mz_ulong crc = mz_crc32(MZ_CRC32_INIT, pkg, pkgSize);

进行了上述两项更改后,gzip -d 不再抱怨了。

compress2() 生成一个 zlib 流,它是用 zlib header 和尾部压缩的压缩数据。对于您正在做的事情,您只希望将原始的 deflate 压缩流粘贴到您手动生成的 gzip header 和预告片中。

您可以:a) 丢弃 compress2() 输出的前两个和最后四个字节以去除 zlib header 和尾部,b) 使用 deflateInit2()deflate()deflateEnd() 而不是 compress2() 和 select 原始 deflate 格式,或 c) 使用相同的函数而不是 select gzip 格式,然后摆脱您手动构建的 gzip header 和预告片,因为 deflate() 会为您完成。

我推荐c).