在数组中添加唯一值作为并发映射 golang 中的值？

Question

我正在遍历 flatProduct.Catalogs 切片并在 golang 中填充我的 productCatalog concurrent map。我正在使用 upsert 方法，以便我只能将唯一的 productID's 添加到我的 productCatalog 地图中。

这使用线性扫描来检查重复的产品 ID，但就我而言，我有超过 70 万个产品 ID，所以它对我来说非常慢。我正在寻找提高效率的方法。

以下代码由多个 goroutine 并行调用，这就是为什么我在这里使用并发映射将数据填充到其中的原因。

var productRows []ClientProduct
err = json.Unmarshal(byteSlice, &productRows)
if err != nil {
    return err
}
for i := range productRows {
    flatProduct, err := r.Convert(spn, productRows[i])
    if err != nil {
        return err
    }
    if flatProduct.StatusCode == definitions.DONE {
        continue
    }
    r.products.Set(strconv.Itoa(flatProduct.ProductId, 10), flatProduct)
    for _, catalogId := range flatProduct.Catalogs {
        catalogValue := strconv.FormatInt(int64(catalogId), 10)
        // how can I improve below Upsert code for `productCatalog` map so that it can runs faster for me?
        r.productCatalog.Upsert(catalogValue, flatProduct.ProductId, func(exists bool, valueInMap interface{}, newValue interface{}) interface{} {
            productID := newValue.(int64)
            if valueInMap == nil {
                return []int64{productID}
            }
            oldIDs := valueInMap.([]int64)

            for _, id := range oldIDs {
                if id == productID {
                    // Already exists, don't add duplicates.
                    return oldIDs
                }
            }
            return append(oldIDs, productID)
        })
    }
}

上面的 upsert 代码对我来说非常慢，并且在我的并发映射中添加唯一产品 ID 作为值需要花费很多时间。下面是 productCatalog 的定义方式。

productCatalog *cmap.ConcurrentMap

这是我正在使用的 upsert 方法 - https://github.com/orcaman/concurrent-map/blob/master/concurrent_map.go#L56

这是我从这个 cmap 读取数据的方式：

catalogProductMap := clientRepo.GetProductCatalogMap()
productIds, ok := catalogProductMap.Get("200")
var data = productIds.([]int64)
for _, pid := range data {
  ...
}

Answer 1

总结评论中的答案：

The upsert function is O(n**2) where n is the length of the slice.

您还提到的问题是遍历整个切片以查找重复项。使用另一张地图可以避免这种情况。

示例：

r.productCatalog.Upsert(catalogValue, flatProduct.ProductId, func(exists bool, valueInMap interface{}, newValue interface{}) interface{} {
    productID := newValue.(int64)
    if valueInMap == nil {
        return map[int64]struct{}{productID: {}}
    }
    oldIDs := valueInMap.(map[int64]struct{})
    
    // value is irrelevant, no need to check if key exists 
    oldIDs[productID] = struct{}{}
    return oldIDs
})

Nested map will add lot of allocation causing lot of memory usage right?

不会，使用空结构不会创建新分配或增加内存使用量。您可以找到大量关于空结构及其用法的 articles/questions。（例如）

注意：您可以使用某种优化数组搜索，例如 sort.Search 使用的二进制搜索，但它 需要排序数组.

在数组中添加唯一值作为并发映射 golang 中的值？

Add unique values in an array as a value in concurrent map golang?

concurrency

dictionary

go

总结评论中的答案：