如何在 Go 中解码 zlib 流？

Question

有什么问题？

我无法使用 go 的 zlib 包从 zlib 流中解码有效的压缩块。

我准备了一个 github 存储库，其中包含说明我遇到的问题的代码和数据：https://github.com/andreyst/zlib-issue。

那些块是什么？

它们是由文本游戏服务器 (MUD) 生成的消息。此游戏服务器以多个块发送压缩消息流，第一个包含 zlib header，其他不包含。

我用名为“mcclient”的代理捕获了两个块（第一个和第二个），这是一个为不支持压缩的 MUD 客户端提供压缩的 sidecar。它是用 C 编写的，使用 C zlib 库来解码压缩块。

块包含在“块”目录中，编号为 0 和 1。 *.in 文件包含压缩数据。 *.out 包含从 mcclient 捕获的未压缩数据。 *.log 包含 zlib 解压缩的状态（return 代码 inflate 调用）。

一个特殊的 all.in 块是块 0 与块 1 连接的块。

为什么我认为它们有效？

mcclient 使用 C 的 zlib 成功解压缩输入块，没有任何问题。 *.log 状态显示 0 这意味着 Z_OK 这意味着 zlib 说法没有错误。
zlib-flate -uncompress < chunks/all.in 在 Linux 下没有任何错误，并且解压缩到相同的内容。在 Mac OS 下，它也解压缩到相同的内容，但带有警告 zlib-flate: WARNING: zlib code -5, msg = input stream is complete but output may still be valid — 这看起来符合预期，因为块不包含“官方”流结束。
Python decompress.py 中的代码可以正确解压 all.in 和 0/1 块，没有任何问题。

go 的 zlib 有什么问题？

请参阅 main.go — 它尝试解压缩这些块，从 all.in 开始，然后尝试逐步解压缩块 0 和 1。

尝试解码all.in(func all())有点成功，至少解压后的数据是一样的，但是zlibreaderreturns错误flate: corrupt input before offset 446.

当尝试 real-life 逐块解压方案时 (func stream())，zlib reader 使用预期数据解码第一个块，但 return 出现错误 flate: corrupt input before offset 32，随后尝试解码块 1 完全失败。

问题

是否可以在某种适合这种情况的“流”模式下使用 go 的 zlib 包？可能是我用错了？

如果不能，解决方法是什么？同样有趣的是，为什么会这样——是设计使然吗？只是还没有实施吗？我错过了什么？

Answer 1

请注意，错误是说输入后偏移处的数据已损坏。这是因为您读取文件的方式：

    buf := make([]byte, 100000)
    n, readErr := f.Read(buf)
    if readErr != nil {
        log.Fatalf("readErr=%v\n", readErr)
    }
    fmt.Printf("Read bytes, n=%v\n", n)

    buffer := bytes.NewBuffer(buf)
    zlibReader, zlibErr := zlib.NewReader(buffer)
    if zlibErr != nil {
        log.Fatalf("zlibErr=%v\n", zlibErr)
    }

buf := make([]byte, 100000) 将生成一个 100000 字节的切片，所有字节都是 0。但是在 all.in 的情况下你只读取了 443 个字节。由于您永远不会缩短切片，因此 reader 会在有效数据后遇到几千个零并断定它已损坏。这就是您得到输出和错误的原因。

至于流媒体。在 TCP/UDP 连接的情况下，您应该能够将 io.Reader 的连接传递给 zlib.NewReader。为了模拟相同的情况，我在修改后的代码中使用了 io.Pipe：

package main

import (
    "bytes"
    "compress/zlib"
    "fmt"
    "io"
    "log"
    "os"

    otherzlib "github.com/4kills/go-zlib"
)

func main() {
    all()
    stream()

    // Alas it hangs :(
    // otherZlib()
}

func all() {
    fmt.Println("==== RUNNING DECOMPRESSION OF all.in")
    fmt.Println("")

    buf, readErr := os.ReadFile("./chunks/all.in")
    if readErr != nil {
        log.Fatalf("readErr=%v\n", readErr)
    }
    fmt.Printf("Read bytes, n=%v\n", len(buf))

    buffer := bytes.NewBuffer(buf)
    zlibReader, zlibErr := zlib.NewReader(buffer)
    if zlibErr != nil {
        log.Fatalf("zlibErr=%v\n", zlibErr)
    }

    out := new(bytes.Buffer)
    written, copyErr := io.Copy(out, zlibReader)
    if copyErr != nil {
        log.Printf("copyErr=%v\n", copyErr)
    }
    fmt.Printf("Written bytes, n=%v, out:\n%v\n", written, out.String())
    fmt.Println("")
}

func stream() {
    fmt.Println("==== RUNNING DECOMPRESSION OF SEPARATE CHUNKS")
    fmt.Println("")

    pRead, pWrite := io.Pipe()
    go func() {
        buf, readErr := os.ReadFile("./chunks/0.in")
        if readErr != nil {
            log.Fatalf("readErr=%v\n", readErr)
        }
        fmt.Printf("Read 0 bytes, n=%v\n", len(buf))

        written0, copy0Err := io.Copy(pWrite, bytes.NewBuffer(buf))
        if copy0Err != nil {
            log.Printf("copy0Err=%v\n", copy0Err)
        }
        fmt.Printf("Written compressed bytes, n0=%v", written0)

        buf, readErr = os.ReadFile("./chunks/1.in")
        if readErr != nil {
            log.Fatalf("read1Err=%v\n", readErr)
        }
        fmt.Printf("Read 1 bytes, n=%v\n", len(buf))

        written1, copy1Err := io.Copy(pWrite, bytes.NewBuffer(buf))
        if copy1Err != nil {
            log.Printf("copy1Err=%v\n", copy1Err)
        }
        fmt.Printf("Written compressed bytes, n1=%v", written1)

        pWrite.Close()
    }()

    zlibReader, zlibErr := zlib.NewReader(pRead)
    if zlibErr != nil {
        log.Fatalf("zlibErr=%v\n", zlibErr)
    }

    out := new(bytes.Buffer)
    written2, copy2Err := io.Copy(out, zlibReader)
    if copy2Err != nil {
        log.Printf("copy2Err=%v\n", copy2Err)
    }
    fmt.Printf("Written decompressed bytes, n0=%v, out:\n%v\n", written2, out.String())

    fmt.Println("")
}

使用此代码，我没有从 stream() 收到任何错误，但我仍然从 all() 收到 copyErr=unexpected EOF 错误，看起来 all.in 缺少校验和数据结束了，但我认为那只是一个意外。

Answer 2

通过仔细调试，我发现我错误地传递了太大的缓冲区切片，这导致错误的输入缓冲区被送入解压。

此外，重要的是不要使用 io.Copy，这会导致缓冲区上的 EOF 停止一切，而是只使用 zlibReader.Read()，这将解压缩当前在现在缓冲。

我更新了代码，现在可以按预期工作了。

如何在 Go 中解码 zlib 流？

How do I decode zlib stream in Go?

zlib

go

有什么问题？

那些块是什么？

为什么我认为它们有效？

go 的 zlib 有什么问题？

问题