按 SQL/Impala 中的特定分钟数对日期时间进行分组

Question

我正在使用 Impala。我的 table 有单独的日期列（格式为 YYYYMMDD 为 STRING）、小时和分钟（为 INT）例如，我得到：

date_part    hour_part    minute_part    kpi
20200828     10           10             23
20200828     10           15             64
20200828     10           20             18

为了合并这些列，我使用了以下语法：

MINUTES_ADD(HOURS_ADD(TO_DATE(FROM_UNIXTIME(UNIX_TIMESTAMP(CAST(date_part AS STRING), "yyyyMMdd") )), hour_part), minute_part) AS date_time

因此我得到：

date_time              kpi
2020-08-28 10:10:00    23
2020-08-28 10:15:00    64
2020-08-28 10:20:00    18

（请注意，我的数据仅每 5 分钟填充一次）

现在，如果我想计算超过 1 小时的 AVG(kpi)，我可以执行以下 GROUP BY：

SELECT
    MINUTES_ADD(HOURS_ADD(TO_DATE(FROM_UNIXTIME(UNIX_TIMESTAMP(CAST(date_part AS STRING), "yyyyMMdd"))), hour_part), minute_part) AS date_time,
    AVG(kpi)
FROM table
GROUP BY
    DATE_PART('year', date_time),
    DATE_PART('month', date_time),
    DATE_PART('day', date_time),
    DATE_PART('hour', date_time)

但是，我怎样才能让查询给出超过 15 分钟的聚合？

Answer 1

我不知道 Impala，但毕竟日期时间就是日期加上小时加上分钟。我会这样写：

SELECT date_part + INTERVAL hour_part HOURS + INTERVAL minute_part MINUTES

或

SELECT date_part + INTERVAL hour_part * 60 + minute_part MINUTES

如果我想要每小时的数据，那就是：

SELECT date_part + INTERVAL hour_part HOURS

但是，如果我想要每刻钟的数据，我将不得不根据分钟来评估该季度。可以为此使用 CASE 表达式，但更简单的方法是整数除法：

SELECT date_part + INTERVAL hour_part HOURS + INTERVAL (minute_part DIV 15) * 15 MINUTES

我不知道上面的语法是否适用于 Impala。在某些 DBMS 中，它可以工作，在其他 DBMS 中，您将使用 INTERVAL 1 HOUR * hour_part 而不是 INTERVAL hour_part HOUR，而其他人可能仍需要不同的解决方案。您已经展示了 HOURS_ADD 和 MINUTES_ADD 的解决方案，您当然可以使用这些功能。

你说你将日期存储为字符串。为什么然后转换为字符串？为什么是 Unix 时间？这可能会缩短为 TO_DATE(date_part, "yyyyMMdd").

因此，将上述方法与 HOURS_ADD 和 MINUTES_ADD 一起使用：

SELECT
    MINUTES_ADD(
      HOURS_ADD(
        TO_DATE(date_part, "yyyyMMdd"),
        hour_part),
      (minute_part DIV 15) * 15
    ) AS date_time,
    AVG(kpi)
FROM table
GROUP BY
    MINUTES_ADD(
      HOURS_ADD(
        TO_DATE(date_part, "yyyyMMdd"),
        hour_part),
      (minute_part DIV 15) * 15
    )
ORDER BY date_time;

Answer 2

你可以在分钟上使用算术：

SELECT MINUTES_ADD(HOURS_ADD(TO_DATE(FROM_UNIXTIME(UNIX_TIMESTAMP(CAST(date_part AS STRING), "yyyyMMdd"))), hour_part), FLOOR(minute_part / 15)) AS date_time,
    AVG(kpi)
FROM table
GROUP BY date_part, hour_part,
         FLOOR(minute_part / 15)

按 SQL/Impala 中的特定分钟数对日期时间进行分组

Grouping a datetime by a specific amount of minutes in SQL/Impala

sql

grouping

impala