SQL根据总和计算延时

Question

（注意 - 下面的示例从原始 post 重写以提高可读性）

我遇到了一个 SQL 问题，确实可以使用一些关于如何继续的指示。（如果这是 post 的错误位置，请告诉我 :-) ）

我有一个 table，每分钟读取一次读数，显示通过传感器的水流 (liters/second)。我需要找出水到达特定点需要多长时间（大约）'downstream'。

传感器读数和兴趣点之间的体积（以升为单位）是已知的，但流量变化很大，因此无法计算为线性函数。

我的想法是，通过对特定读数后的所有值求和，直到总和与两点之间的体积相同，我可以用它来找出时差。（即用积分计算）

我已经完成了初稿，可以满足我的需求，但它 极其低效 并且根本无法扩展以处理现实生活中的数据（50 万行 pr数据年份）。

所以我希望有一个分析功能可以帮助我，但是......我不知所措。

有没有人在SQL遇到过类似的问题？

这是一个示例设置：

--
-- Sample with flow ranging from 1 to 3 liters/minute  
--
create table flow 
(ts             timestamp
,flow_pr_minute numeric);

insert into flow values ('2020-08-01 00:01:00',1); 
insert into flow values ('2020-08-01 00:02:00',1);  
insert into flow values ('2020-08-01 00:03:00',2);  
insert into flow values ('2020-08-01 00:04:00',2);  
insert into flow values ('2020-08-01 00:05:00',3);  
insert into flow values ('2020-08-01 00:06:00',2); 
insert into flow values ('2020-08-01 00:07:00',2); 
insert into flow values ('2020-08-01 00:08:00',1); 
insert into flow values ('2020-08-01 00:09:00',3); 
insert into flow values ('2020-08-01 00:10:00',3); 
insert into flow values ('2020-08-01 00:11:00',2); 
insert into flow values ('2020-08-01 00:12:00',3); 
insert into flow values ('2020-08-01 00:13:00',1); 
insert into flow values ('2020-08-01 00:14:00',2); 
insert into flow values ('2020-08-01 00:15:00',3); 
insert into flow values ('2020-08-01 00:16:00',1); 
insert into flow values ('2020-08-01 00:17:00',1); 
insert into flow values ('2020-08-01 00:18:00',3); 
insert into flow values ('2020-08-01 00:19:00',2); 
insert into flow values ('2020-08-01 00:20:00',3); 

--
-- Sample code
-- when will the water at timestamp 'ts' have reached/passed the 10 liter mark?
--

with SUB as
(
SELECT   ts
         , flow_pr_minute
         ,SUM(flow_pr_minute) OVER(ORDER BY ts) flow_cumul
FROM     flow
)
select  a.ts
        ,a.flow_pr_minute
        ,a.flow_cumul
        ,min(b.ts) as ts_sum_10_liter_or_gt
from SUB a, SUB b
where b.flow_cumul-a.flow_cumul+a.flow_pr_minute >= 10
group by a.ts, a.flow_pr_minute, a.flow_cumul
order by a.ts
/

这会在 'ts_sum_10_liter_or_gt' 列中给出所需的输出在现实生活中，数量和体积要大得多 - 但这显示了任务的本质。

ts                  flow_pr_minute  flow_cumul  ts_sum_10liter_or_gt    
--------------------------------------------------------------------
2020-08-01 00:01:00 1               1           2020-08-01 00:06:00
2020-08-01 00:02:00 1               2           2020-08-01 00:06:00
2020-08-01 00:03:00 2               4           2020-08-01 00:07:00
2020-08-01 00:04:00 2               6           2020-08-01 00:08:00
2020-08-01 00:05:00 3               9           2020-08-01 00:09:00
2020-08-01 00:06:00 2               11          2020-08-01 00:10:00
2020-08-01 00:07:00 2               13          2020-08-01 00:11:00
2020-08-01 00:08:00 1               14          2020-08-01 00:12:00
2020-08-01 00:09:00 3               17          2020-08-01 00:12:00
2020-08-01 00:10:00 3               20          2020-08-01 00:14:00
2020-08-01 00:11:00 2               22          2020-08-01 00:15:00
2020-08-01 00:12:00 3               25          2020-08-01 00:16:00
2020-08-01 00:13:00 1               26          2020-08-01 00:18:00
2020-08-01 00:14:00 2               28          2020-08-01 00:18:00
2020-08-01 00:15:00 3               31          2020-08-01 00:19:00
2020-08-01 00:16:00 1               32          2020-08-01 00:20:00

Answer 1

通常，数据集之间或数据集内的任何成对匹配都将是一项具有挑战性的计算工作，尤其是在行数非常大的情况下。在不完全了解您的域或数据的情况下回答我需要找出水到达特定点需要多长时间（大约）'downstream'，您尝试的交叉连接已被过滤查询可能会被调整。

具体来说，考虑避免完全重复和反向重复，并根据数据最大值添加时间间隔。假设它是定义的 key/index.

，这样的间隔连接可能会促进使用 ts 作为索引

with SUB as
(
select   ts
         , flowrate
         , 60*sum(flowrate) over(order by ts) as flow_cumul
         , max(ts) over() as max_ts
from     flow
)
select  a.ts
--      , b.ts
        , round(a.flowrate,1) as flowrate
--      , round(b.flowrate,1) as b_flowrate
--      , round(a.flow_cumul,1) as a_flowcumul
--      , round(b.flow_cumul,1) as b_flowcumul
--      , round(b.flow_cumul-a.flow_cumul,1) as flow_diff
        , b.ts-a.ts as ts_diff
from SUB a
inner join SUB b 
       on b.ts > a.ts and b.ts < a.max_ts
where (b.flow_cumul-a.flow_cumul) > 5E5
  and (b.flow_cumul-a.flow_cumul)-a.flowrate < 5E5;

SQL根据总和计算延时

SQL Calculate time delay based on sum

sql

postgresql

analytics

integral