使用 golang io.pipe 到 tar 文件的错误

Question

我一直在测试代码，使用 io.Pipe 到 tar 并将文件压缩到 tar 球中，然后使用 tar 实用程序解压缩。下面的代码通过了，但是 untaring 过程不断得到

错误： tar: Truncated input file (needed 1050624 bytes, only 0 available) tar: Error exit delayed from previous errors.

这个问题真的快把我逼疯了。已经两周了。我真的需要帮助调试。

谢谢。

开发环境：go版本go1.9darwin/amd64

package main

import (
    "archive/tar"
    "compress/gzip"
    "fmt"
    "io"
    "log"
    "os"
    "path/filepath"
    "testing"
)

func testTarGzipPipe2(t *testing.T) {
    src := "/path/to/file/folder"

    pr, pw := io.Pipe()
    gzipWriter := gzip.NewWriter(pw)
    defer gzipWriter.Close()
    tarWriter := tar.NewWriter(gzipWriter)
    defer tarWriter.Close()

    status := make(chan bool)

    go func() {
        defer pr.Close()
        // tar to local disk
        tarFile, err := os.OpenFile("/path/to/tar/ball/test.tar.gz", os.O_RDWR|os.O_CREATE, 0755)
        if err != nil {
            log.Fatal(err)
        }
        defer tarFile.Close()
        if _, err := io.Copy(tarFile, pr); err != nil {
            log.Fatal(err)
        }

        status <- true
    }()

    err := filepath.Walk(src, func(path string, info os.FileInfo, err error) error {
        if err != nil {
            return err
        }

        header, err := tar.FileInfoHeader(info, info.Name())
        if err != nil {
            return err
        }

        // header.Name = strings.TrimPrefix(strings.Replace(path, src, "", -1), string(filepath.Separator))

        if err := tarWriter.WriteHeader(header); err != nil {
            return err
        }

        if info.Mode().IsDir() {
            return nil
        }

        fmt.Println(path)
        f, err := os.Open(path)
        if err != nil {
            return err
        }
        defer f.Close()

        if _, err := io.Copy(tarWriter, f); err != nil {
            return err
        }

        return nil
    })

    if err != nil {
        log.Fatal(err)
    }

    pw.Close()
    <-status
}

Answer 1

您将在 gzipWriter 和 tarWriter 上的延迟关闭调用之前关闭管道。没有错误，因为您没有检查这些关闭调用中的任何一个的错误。您需要依次关闭 tarWriter、gzipWriter、PipeWriter。

但是，此代码中根本没有管道的原因，如果直接写入文件，则可以完全删除 goroutine 和相关联的协调。

tarFile, err := os.OpenFile("/tmp/test.tar.gz", os.O_RDWR|os.O_CREATE, 0644)
if err != nil {
    log.Fatal(err)
}
defer tarFile.Close()

gzipWriter := gzip.NewWriter(tarFile)
defer gzipWriter.Close()
tarWriter := tar.NewWriter(gzipWriter)
defer tarWriter.Close()

使用 golang io.pipe 到 tar 文件的错误

bug using golang io.pipe to tar files

go

pipe

tar

gunzip