频道挂起，可能没有在正确的地方关闭

Question

我正在尝试一边写小程序一边学习 Go。该程序应尽可能高效和快速地递归解析 PATH，并输出完整的文件名（包括路径）和文件的 sha256 文件哈希。

如果文件哈希生成失败，我想保留错误并将其添加到字符串（在哈希位置）。

结果应该 return 控制台上的字符串如下： fileXYZ||哈希

不幸的是，程序有时会挂起。我想我的一些频道没有正确关闭并无限期地等待输入。我已经尝试了很长一段时间来解决这个问题，但没有成功。

有人知道输出挂起的原因吗？提前谢谢大家，也欢迎任何 input/advice 的 Go 新手 ;-).

（我写了单独的函数，因为我想在解决这个问题后添加额外的功能。）

非常感谢！迪迪埃

代码如下：

import (
    "crypto/sha256"
    "encoding/hex"
    "flag"
    "fmt"
    "io"
    "log"
    "os"
    "path/filepath"
    "time"
)

func main() {
    pathParam := flag.String("path", ".", "Enter Filesystem Path to list folders")
    flag.Parse()
    start := time.Now()
    run(*pathParam)
    elapsed := time.Since(start)
    log.Printf("Time elapsed: %v", elapsed)
}

func run(path string) {
    chashes := make(chan string, 50)
    cfiles := make(chan string)

    go func() {
        readfs(path, cfiles)
        defer close(cfiles)
    }()
    go func() {
        generateHash(cfiles, chashes)
    }()
    defer close(chashes)
    for hash := range chashes {
        fmt.Println(hash)
    }
}

func readfs(path string, cfiles chan string) {
    files, err := os.ReadDir(path)
    if err != nil {
        log.Fatalln(err)
    }
    for _, file := range files {
        filename := filepath.Join(path, file.Name())
        if file.IsDir() {
            readfs(filename, cfiles)
            continue
        } else {
            cfiles <- filename
        }
    }
}

func generateHash(cfiles chan string, chashes chan string) {
    for filename := range cfiles {
        go func(filename string) {
            var checksum string
            var oError bool = false
            file, err := os.Open(filename)
            if err != nil {
                oError = true
                errorMsg := "ERROR: " + err.Error()
                log.Println(errorMsg)
                checksum = errorMsg
            }
            defer file.Close()

            if !oError {
                hash := sha256.New()
                if _, err := io.Copy(hash, file); err != nil {
                    errorMsg := "ERROR: " + err.Error()
                    log.Println(errorMsg)
                    checksum = errorMsg
                }
                if len(checksum) == 0 {
                    checksum = hex.EncodeToString(hash.Sum(nil))
                }
            }
            chashes <- filename + "||" + checksum
        }(filename)
    } //for files
}

Answer 1

以下循环挂起，因为 chashes 未关闭。

for hash := range chashes {
    fmt.Println(hash)
}

通过在所有哈希器完成后关闭 chashes 来修复。使用 sync.WaitGroup 等待哈希器完成。

func generateHash(cfiles chan string, chashes chan string) {
    var wg sync.WaitGroup
    for filename := range cfiles {
        wg.Add(1)
        go func(filename string) {
            defer wg.Done()
            var checksum string
            var oError bool = false
            file, err := os.Open(filename)
            if err != nil {
                oError = true
                errorMsg := "ERROR: " + err.Error()
                log.Println(errorMsg)
                checksum = errorMsg
            }
            defer file.Close()

            if !oError {
                hash := sha256.New()
                if _, err := io.Copy(hash, file); err != nil {
                    errorMsg := "ERROR: " + err.Error()
                    log.Println(errorMsg)
                    checksum = errorMsg
                }
                if len(checksum) == 0 {
                    checksum = hex.EncodeToString(hash.Sum(nil))
                }
            }
            chashes <- filename + "||" + checksum
        }(filename)
    } //for files

    // Wait for the hashers to complete.
    wg.Wait()

    // Close the channel to cause main() to break
    // out of for range on chashes.
    close(chashes)
}

从 run() 中删除 defer close(chashes)。

Run an example on the Go playground.

频道挂起，可能没有在正确的地方关闭

Channel hangs, probably not closing at the right place

filesystems

hash

checksum

path

go