追加不是线程安全的？

Question

我注意到，如果我尝试在 for 循环中使用 goroutines 附加到切片，在某些情况下我会得到 missing/blank 数据：

destSlice := make([]myClass, 0)

var wg sync.WaitGroup
for _, myObject := range sourceSlice {
    wg.Add(1)
    go func(closureMyObject myClass) {
        defer wg.Done()
        var tmpObj myClass
        tmpObj.AttributeName = closureMyObject.AttributeName
        destSlice = append(destSlice, tmpObj)
    }(myObject)
}
wg.Wait()

有时，当我打印 destSlice 中的所有 AttributeName 时，某些元素是空字符串 ("")，而其他时候，sourceSlice 中的某些元素是destSlice.

中不存在

我的代码是否存在数据竞争，这是否意味着 append 对于多个 goroutine 的并发使用不是线程安全的？

Answer 1

在 Go 中，并发 read/write 没有任何值是安全的，切片（slice headers）也不例外。

是的，您的代码存在数据竞争。运行使用 -race 选项进行验证。

示例：

type myClass struct {
    AttributeName string
}
sourceSlice := make([]myClass, 100)

destSlice := make([]myClass, 0)

var wg sync.WaitGroup
for _, myObject := range sourceSlice {
    wg.Add(1)
    go func(closureMyObject myClass) {
        defer wg.Done()
        var tmpObj myClass
        tmpObj.AttributeName = closureMyObject.AttributeName
        destSlice = append(destSlice, tmpObj)
    }(myObject)
}
wg.Wait()

运行与

结合

go run -race play.go

输出为：

==================
WARNING: DATA RACE
Read at 0x00c420074000 by goroutine 6:
  main.main.func1()
      /home/icza/gows/src/play/play.go:20 +0x69

Previous write at 0x00c420074000 by goroutine 5:
  main.main.func1()
      /home/icza/gows/src/play/play.go:20 +0x106

Goroutine 6 (running) created at:
  main.main()
      /home/icza/gows/src/play/play.go:21 +0x1cb

Goroutine 5 (running) created at:
  main.main()
      /home/icza/gows/src/play/play.go:21 +0x1cb
==================
==================
WARNING: DATA RACE
Read at 0x00c42007e000 by goroutine 6:
  runtime.growslice()
      /usr/local/go/src/runtime/slice.go:82 +0x0
  main.main.func1()
      /home/icza/gows/src/play/play.go:20 +0x1a7

Previous write at 0x00c42007e000 by goroutine 5:
  main.main.func1()
      /home/icza/gows/src/play/play.go:20 +0xc4

Goroutine 6 (running) created at:
  main.main()
      /home/icza/gows/src/play/play.go:21 +0x1cb

Goroutine 5 (running) created at:
  main.main()
      /home/icza/gows/src/play/play.go:21 +0x1cb
==================
==================
WARNING: DATA RACE
Write at 0x00c420098120 by goroutine 80:
  main.main.func1()
      /home/icza/gows/src/play/play.go:20 +0xc4

Previous write at 0x00c420098120 by goroutine 70:
  main.main.func1()
      /home/icza/gows/src/play/play.go:20 +0xc4

Goroutine 80 (running) created at:
  main.main()
      /home/icza/gows/src/play/play.go:21 +0x1cb

Goroutine 70 (running) created at:
  main.main()
      /home/icza/gows/src/play/play.go:21 +0x1cb
==================
Found 3 data race(s)
exit status 66

解决方法很简单，使用sync.Mutex来保护写入destSlice值：

var (
    mu        = &sync.Mutex{}
    destSlice = make([]myClass, 0)
)

var wg sync.WaitGroup
for _, myObject := range sourceSlice {
    wg.Add(1)
    go func(closureMyObject myClass) {
        defer wg.Done()
        var tmpObj myClass
        tmpObj.AttributeName = closureMyObject.AttributeName
        mu.Lock()
        destSlice = append(destSlice, tmpObj)
        mu.Unlock()
    }(myObject)
}
wg.Wait()

您也可以通过其他方式解决，例如您可以使用一个通道，您可以在该通道上发送要追加的值，并让指定的 goroutine 从该通道接收并进行追加。

另请注意，虽然切片 headers 不安全，但切片元素充当不同的变量，并且可以在不同步的情况下并发写入不同的切片元素（因为它们是不同的变量）。参见 Can I concurrently write different slice elements

Answer 2

为了给这个问题提供更新的解决方案，Go 似乎发布了一个用于同步目的的新地图：

https://godoc.org/golang.org/x/sync/syncmap

Answer 3

这是一个很老的问题，但还有另一个小改进有助于摆脱互斥锁。您可以使用索引添加到数组。每个 go routine 都会使用它自己的索引。在这种情况下，不需要同步。

destSlice := make([]myClass, len(sourceSlice))

var wg sync.WaitGroup
for i, myObject := range sourceSlice {
    wg.Add(1)
    go func(idx int, closureMyObject myClass) {
        defer wg.Done()
        var tmpObj myClass
        tmpObj.AttributeName = closureMyObject.AttributeName

        destSlice[idx] = tmpObj
     }(i, myObject)
}
wg.Wait()

Answer 4

问题已得到解答，但我最喜欢解决此问题的方法是 errgroup. One of the examples in the docs 正是这个问题加上错误处理的一个很好的补充。

下面是文档中示例的主要内容：

g, ctx := errgroup.WithContext(ctx)

searches := []Search{Web, Image, Video}
results := make([]Result, len(searches))
for i, search := range searches {
    i, search := i, search // https://golang.org/doc/faq#closures_and_goroutines
    g.Go(func() error {
        result, err := search(ctx, query)
        if err == nil {
            results[i] = result
        }
        return err
    })
}
if err := g.Wait(); err != nil {
    return nil, err
}
return results, nil

希望这对那些不了解 errgroup 包的人有所帮助。

追加不是线程安全的？

Append not thread-safe?

concurrency

append

go

slice

goroutine