SELECT DISTINCT 比我在 PostgreSQL 中 table 的预期慢

Question

这是我的 table 架构：

CREATE TABLE tickers (
    product_id TEXT NOT NULL,
    trade_id INT NOT NULL,
    sequence BIGINT NOT NULL,
    time TIMESTAMPTZ,
    price NUMERIC NOT NULL,
    side TEXT NOT NULL,
    last_size NUMERIC NOT NULL,
    best_bid NUMERIC NOT NULL,
    best_ask NUMERIC NOT NULL,
    PRIMARY KEY (product_id, trade_id)
);

我的应用程序在“代码”频道上订阅了 Coinbase Pro 的 websocket，并在收到消息时向代码中插入一行 table。

table 现在有近两百万行。

我假设运行ning SELECT DISTINCT product_id FROM tickers 会很快，但它需要大约 500 到 600 毫秒。这是 EXPLAIN ANALYZE:

的输出

HashAggregate  (cost=47938.97..47939.38 rows=40 width=8) (actual time=583.105..583.110 rows=40 loops=1)
  Group Key: product_id
  ->  Seq Scan on tickers  (cost=0.00..42990.98 rows=1979198 width=8) (actual time=0.030..195.536 rows=1979243 loops=1)
Planning Time: 0.068 ms
Execution Time: 583.137 ms

如果我通过运行ning SET enable_seqscan = FALSE 关闭 seq 扫描（不是我真正想要依赖的东西，只是为了测试目的）那么查询会更快一些。在 400 到 500 毫秒之间。这是 EXPLAIN ANALYZE:

的输出

Unique  (cost=0.43..80722.61 rows=40 width=8) (actual time=0.020..480.339 rows=40 loops=1)
  ->  Index Only Scan using tickers_pkey on tickers  (cost=0.43..75772.49 rows=1980051 width=8) (actual time=0.019..344.113 rows=1980160 loops=1)
        Heap Fetches: 328693
Planning Time: 0.064 ms
Execution Time: 480.386 ms

table 中只有 40 个唯一的产品 ID。我假设由于 product_id 是复合主键的一部分，因此被索引，所以 SELECT DISTINCT product_id FROM tickers 会快得多。但事实证明，查询规划器默认使用 seq 扫描而不是索引，即使我强制它使用索引它仍然很慢（但比 seq 扫描快一点）。我意识到我可以创建另一个 table 来存储唯一的产品 ID 并查询它，但我更关心的是我对代码 table 的查询花费这么长时间的原因.

编辑#1：我尝试仅在 product_id 列 (CREATE INDEX idx_tickers_product_id ON tickers (product_id)) 上创建一个索引，并且查询计划程序仍然进行顺序扫描，除非我先运行 SET enable_seqscan = FALSE。但是它的性能比使用复合 PK 索引时稍微好一些（快 10 到 50 毫秒）。

编辑#2：我尝试了 Erwin Brandstetter 的解决方案，它大大提高了速度。 table现在有225万行，执行只需要0.75毫秒！

编辑#3：我想扩充已接受的解决方案以检索代码计数 (max(trade_id) - min(trade_id) + 1) 以及每个产品 ID 的最短和最长时间。我为此创建了一个新问题：

Answer 1

虽然 Postgres 中还没有索引跳过扫描，但请模拟它：

WITH RECURSIVE cte AS (
   (   -- parentheses required
   SELECT product_id
   FROM   tickers
   ORDER  BY 1
   LIMIT  1
   )
   UNION ALL
   SELECT l.*
   FROM   cte c
   CROSS  JOIN LATERAL (
      SELECT product_id
      FROM   tickers t
      WHERE  t.product_id > c.product_id  -- lateral reference
      ORDER  BY 1
      LIMIT  1
      ) l
   )
TABLE  cte;

在 (product_id) 上有一个索引，并且 在 table 中只有 40 个唯一的产品 ID，这应该是快速.大写 F.
(product_id, trade_id)上的PK指数也不错！

每个 product_id 只有很少的行（与您的数据分布相反），DISTINCT / DISTINCT ON 会一样快或更快。

实施索引跳过扫描的工作正在进行中。
参见：

Select first row in each GROUP BY group?
Optimize GROUP BY query to retrieve latest row per user
Is a composite index also good for queries on the first field?

SELECT DISTINCT 比我在 PostgreSQL 中 table 的预期慢

SELECT DISTINCT is slower than expected on my table in PostgreSQL

sql

postgresql

query-optimization

database-performance

postgresql-performance