在 PostgreSQL 之上实现区间分析
Implement interval analysis on top of PostgreSQL
我在 table 中有几百万个条目，其中 start 和 end 时间戳。我想实现一个分析工具来确定特定时间间隔的唯一条目。比方说从昨天到前两个月。
根据时间间隔，查询需要几秒到 30 分钟不等。我将如何为 Web 前端实现一个分析工具，它允许非常快速地查询这些数据，类似于 Google Analytics。
我正在考虑将数据移动到 Redis 并使用间隔和排序集等做一些巧妙的事情，但我想知道 PostgreSQL 这将允许执行聚合查询，重新使用旧查询，例如，在查询前几天后，当查看不同的时间间隔时，它不会再次从头开始。
如果没有，我该怎么办？将数据导出到 Apache Spark 或 Dynamo DB 并在其中进行分析以填充 Redis 以进行检索它更快？
两者都可以。
聚合是他们都可以完成的一项基本任务，您的数据足够小，可以放入主内存。所以你甚至不需要数据库（但数据库的聚合功能可能仍然比你重写它们更好地实现；并且SQL使用起来非常方便。
请执行。试一试。
P.S。确保启用数据索引，并选择正确的数据类型。也许也检查查询计划。
我在 table 中有几百万个条目，其中 start 和 end 时间戳。我想实现一个分析工具来确定特定时间间隔的唯一条目。比方说从昨天到前两个月。
根据时间间隔，查询需要几秒到 30 分钟不等。我将如何为 Web 前端实现一个分析工具，它允许非常快速地查询这些数据，类似于 Google Analytics。
我正在考虑将数据移动到 Redis 并使用间隔和排序集等做一些巧妙的事情，但我想知道 PostgreSQL 这将允许执行聚合查询，重新使用旧查询，例如，在查询前几天后，当查看不同的时间间隔时，它不会再次从头开始。
如果没有，我该怎么办？将数据导出到 Apache Spark 或 Dynamo DB 并在其中进行分析以填充 Redis 以进行检索它更快？
两者都可以。
聚合是他们都可以完成的一项基本任务，您的数据足够小，可以放入主内存。所以你甚至不需要数据库（但数据库的聚合功能可能仍然比你重写它们更好地实现；并且SQL使用起来非常方便。
请执行。试一试。
P.S。确保启用数据索引，并选择正确的数据类型。也许也检查查询计划。