Deflater.deflate 和小输出缓冲区

Question

当 Java 8u45 和 java.util.Deflater.deflate(byte[] b, int off, int len, int flush) 方法与小输出缓冲区一起使用时，我看到小输出缓冲区的奇怪情况。

（我正在编写一些与 WebSocket 即将推出的 permessage-deflate 扩展相关的低级网络代码，因此小缓冲区对我来说是现实）

示例代码：

package deflate;

import java.nio.charset.StandardCharsets;
import java.util.zip.Deflater;

public class DeflaterSmallBufferBug
{
    public static void main(String[] args)
    {
        boolean nowrap = true;
        Deflater deflater = new Deflater(Deflater.DEFAULT_COMPRESSION,nowrap);

        byte[] input = "Hello".getBytes(StandardCharsets.UTF_8);

        System.out.printf("input is %,d bytes - %s%n",input.length,getHex(input,0,input.length));

        deflater.setInput(input);

        byte[] output = new byte[input.length];

        // break out of infinite loop seen with bug
        int maxloops = 10;

        // Compress the data
        while (maxloops-- > 0)
        {
            int compressed = deflater.deflate(output,0,output.length,Deflater.SYNC_FLUSH);
            System.out.printf("compressed %,d bytes - %s%n",compressed,getHex(output,0,compressed));

            if (compressed < output.length)
            {
                System.out.printf("Compress success");
                return;
            }
        }

        System.out.printf("Exited compress (maxloops left %d)%n",maxloops);
    }

    private static String getHex(byte[] buf, int offset, int len)
    {
        StringBuilder hex = new StringBuilder();
        hex.append('[');
        for (int i = offset; i < (offset + len); i++)
        {
            if (i > offset)
            {
                hex.append(' ');
            }
            hex.append(String.format("%02X",buf[i]));
        }
        hex.append(']');
        return hex.toString();
    }
}

在上述情况下，我尝试使用长度为 5 字节的输出缓冲区为输入 "Hello" 生成压缩字节。

我会假设以下结果字节：

buffer 1 [ F2 48 CD C9 C9 ]
buffer 2 [ 07 00 00 00 FF ]
buffer 3 [ FF ]

翻译为

[ F2 48 CD C9 C9 07 00 ] <-- the compressed data
[ 00 00 FF FF ]          <-- the deflate tail bytes

然而，当 Deflater.deflate() 与小缓冲区一起使用时，此正常循环会在 5 字节的压缩数据处无限继续（似乎仅出现在 5 字节或更小的缓冲区中）。

上述演示运行的结果输出 ...

input is 5 bytes - [48 65 6C 6C 6F]
compressed 5 bytes - [F2 48 CD C9 C9]
compressed 5 bytes - [07 00 00 00 FF]
compressed 5 bytes - [FF 00 00 00 FF]
compressed 5 bytes - [FF 00 00 00 FF]
compressed 5 bytes - [FF 00 00 00 FF]
compressed 5 bytes - [FF 00 00 00 FF]
compressed 5 bytes - [FF 00 00 00 FF]
compressed 5 bytes - [FF 00 00 00 FF]
compressed 5 bytes - [FF 00 00 00 FF]
compressed 5 bytes - [FF 00 00 00 FF]
Exited compress (maxloops left -1)

如果您使 input/output 大于 5 个字节，那么问题似乎就消失了。（只需将输入字符串 "Hellox" 自己测试即可）

使缓冲区为 6 字节的结果（输入为 "Hellox"）

input is 6 bytes - [48 65 6C 6C 6F 78]
compressed 6 bytes - [F2 48 CD C9 C9 AF]
compressed 6 bytes - [00 00 00 00 FF FF]
compressed 5 bytes - [00 00 00 FF FF]
Compress success

即使是这些结果对我来说也有点古怪，因为似乎存在 2 个压缩尾字节序列。

所以，我想我的最终问题是，我是否遗漏了一些关于 Deflater 用法的东西，这让我觉得很奇怪，或者这是否指向 JVM Deflater 实现中可能存在的错误本身？

更新：2015 年 8 月 7 日

此发现已被接受为 bugs.java.com/JDK-8133170

Answer 1

这是一个 zlib "feature"，记录在 zlib.h:

In the case of a Z_FULL_FLUSH or Z_SYNC_FLUSH, make sure that avail_out is greater than six to avoid repeated flush markers due to avail_out == 0 on return.

发生的事情是每次调用 deflate() 和 Z_SYNC_FLUSH 都会插入一个五字节刷新标记。由于您没有提供足够的输出 space 来获取标记，您再次调用以获得更多输出，但要求它同时插入 另一个 刷新标记。

您应该做的是使用 Z_SYNC_FLUSH 调用 deflate() 一次 ，然后使用额外的 deflate() 获取所有可用输出如有必要，调用使用 Z_NO_FLUSH（或 Java 中的 NO_FLUSH）。

Deflater.deflate 和小输出缓冲区

Deflater.deflate and small output buffers

java

deflate