SQL 尽快将结果 JSON

Question

我正在尝试将 Go 内置 sql 结果转换为 JSON。我为此使用了 goroutines，但我遇到了问题。

基础问题：

有一个非常大的数据库，大约有 20 万用户，我必须在基于微服务的系统中通过 tcp 套接字为他们提供服务。从数据库中获取用户花费了 20 毫秒，但使用当前解决方案将这堆数据转换为 JSON 花费了 10 秒。这就是我想使用 goroutines 的原因。

使用 Goroutines 的解决方案：

func getJSON(rows *sql.Rows, cnf configure.Config) ([]byte, error) {
    log := logan.Log{
        Cnf: cnf,
    }

    cols, _ := rows.Columns()

    defer rows.Close()

    done := make(chan struct{})
    go func() {
        defer close(done)
        for result := range resultChannel {
            results = append(
                results,
                result,
            )
        }
    }()

    wg.Add(1)
    go func() {
        for rows.Next() {
            wg.Add(1)
            go handleSQLRow(cols, rows)
        }
        wg.Done()
    }()

    go func() {
        wg.Wait()
        defer close(resultChannel)
    }()

    <-done

    s, err := json.Marshal(results)
    results = []resultContainer{}
    if err != nil {
        log.Context(1).Error(err)
    }
    rows.Close()
    return s, nil
}

func handleSQLRow(cols []string, rows *sql.Rows) {
    defer wg.Done()
    result := make(map[string]string, len(cols))
    fmt.Println("asd -> " + strconv.Itoa(counter))
    counter++
    rawResult := make([][]byte, len(cols))
    dest := make([]interface{}, len(cols))

    for i := range rawResult {
        dest[i] = &rawResult[i]
    }
    rows.Scan(dest...) // GET PANIC
    for i, raw := range rawResult {
        if raw == nil {
            result[cols[i]] = ""
        } else {
            fmt.Println(string(raw))
            result[cols[i]] = string(raw)
        }
    }
    resultChannel <- result
}

此解决方案通过以下消息让我感到恐慌：

panic: runtime error: invalid memory address or nil pointer dereference
[signal SIGSEGV: segmentation violation code=0x1 addr=0x0 pc=0x45974c]

goroutine 408 [running]:
panic(0x7ca140, 0xc420010150)
    /usr/lib/golang/src/runtime/panic.go:500 +0x1a1
database/sql.convertAssign(0x793960, 0xc420529210, 0x7a5240, 0x0, 0x0, 0x0)
    /usr/lib/golang/src/database/sql/convert.go:88 +0x1ef1
database/sql.(*Rows).Scan(0xc4203e4060, 0xc42021fb00, 0x44, 0x44, 0x44, 0x44)
    /usr/lib/golang/src/database/sql/sql.go:1850 +0xc2
github.com/PumpkinSeed/zerodb/operations.handleSQLRow(0xc420402000, 0x44, 0x44, 0xc4203e4060)
    /home/loow/gopath/src/github.com/PumpkinSeed/zerodb/operations/operations.go:290 +0x19c
created by github.com/PumpkinSeed/zerodb/operations.getJSON.func2
    /home/loow/gopath/src/github.com/PumpkinSeed/zerodb/operations/operations.go:258 +0x91
exit status 2

当前有效但花费太多时间的解决方案：

func getJSON(rows *sql.Rows, cnf configure.Config) ([]byte, error) {
    log := logan.Log{
        Cnf: cnf,
    }
    var results []resultContainer
    cols, _ := rows.Columns()
    rawResult := make([][]byte, len(cols))
    dest := make([]interface{}, len(cols))

    for i := range rawResult {
        dest[i] = &rawResult[i]
    }

    defer rows.Close()

    for rows.Next() {

        result := make(map[string]string, len(cols))
        rows.Scan(dest...)
        for i, raw := range rawResult {
            if raw == nil {

                result[cols[i]] = ""

            } else {
                result[cols[i]] = string(raw)
            }
        }

        results = append(results, result)
    }
    s, err := json.Marshal(results)
    if err != nil {
        log.Context(1).Error(err)
    }
    rows.Close()
    return s, nil
}

问题：

为什么 goroutine 解决方案给我一个错误，它不是明显的 panic，因为第一个 ~200 goroutine 运行正确？！

更新

原始工作解决方案的性能测试：

INFO[0020] setup taken -> 3.149124658s                   file=operations.go func=operations.getJSON line=260 service="Database manager" ts="2017-04-02 19:45:27.132881211 +0100 BST"
INFO[0025] toJSON taken -> 5.317647046s                  file=operations.go func=operations.getJSON line=263 service="Database manager" ts="2017-04-02 19:45:32.450551417 +0100 BST"

映射到 sql 需要 3 秒，映射到 json 需要 5 秒。

Answer 1

Go 例程不会提高 CPU 绑定操作（如 JSON 封送处理）的性能。您需要的是更高效的 JSON 封送拆收器。有一些可用，虽然我没有用过。一个简单的 Google 搜索 'faster JSON marshaling' 会出现很多结果。一个流行的是 ffjson。我建议从那里开始。

SQL 尽快将结果 JSON

SQL result to JSON as fast as possible

json

go

goroutine