带有长列表的 Sqlx WHERE IN 查询

Sqlx WHERE IN query with long list

我正在使用 sqlx 在我的 Go 代码中执行查询。该查询有一长串值(~10,000),我需要在 WHERE IN (?) 子句中对其进行过滤。这会导致性能大幅下降。我该如何优化这样的查询?此外,此查询是在 Redshift 集群上执行的,因此索引列不是提高查询性能的解决方案。

values := []int64{143, 123, 123, 542....} // ~10,000 elements
query, args, err := sqlx.In(query, values)
if err != nil {
    return nil, err
}

query = dbInterface.Rebind(query)   
err = dbInterface.Select(&list, query, args...)

查询:

SELECT * FROM table_name WHERE some_id IN (?) ORDER BY created_at;

您需要让 sqlx 产生其中之一:

  • values 语法:

    where some_id in (values (143), (123))
    
  • 加入数组:

    select *
    from
        t
        inner join
        unnest(array[143, 123]) u (id) on u.id = t.id
    

我最终为 ID 创建了一个 TEMP TABLE 并执行了 JOIN。这大大提高了查询性能。