在不改变数据类型string的情况下计算hive中两列string类型的时间差

Question

我正在尝试计算字符串数据类型的一行的两列之间的时间差。如果它们之间的时间差小于 2 小时，则 select 该行的第一列，否则如果时间差大于 2 小时，则 select 该行的第二列。可以通过将列转换为日期时间格式来完成，但我希望结果仅在字符串中。我怎样才能做到这一点？数据如下所示：

col1(字符串类型)
2018-07-16 02:23:00
2018-07-26 12:26:00
2018-07-26 15:32:00

col2(字符串类型)
2018-07-16 02:36:00
2018-07-26 14:29:00
2018-07-27 15:38:00

Answer 1

使用unix_timestamp() 将字符串时间戳转换为秒。小时差为：

hive> select  (unix_timestamp('2018-07-16 02:23:00')- unix_timestamp('2018-07-16 02:36:00'))/60/60;
OK
-0.21666666666666667

重要更新：只有当时区配置为UTC时，此方法才能正常工作。因为对于某些边缘情况的 DST 时区，Hive 在时间戳操作期间转换时间。考虑这个 PDT 时区的例子：

hive> select hour('2018-03-11 02:00:00'); 
OK 
3

请注意，小时是 3，而不是 2。这是因为 2018-03-11 02:00:00 不能存在于 PDT 时区，因为恰好在 2018-03-11 02:00:00 时间被调整并成为 2018-03-11 03:00:00。转换为 unix_timestamp 时也会发生同样的情况。对于 PDT 时区 unix_timestamp('2018-03-11 03:00:00') 和 unix_timestamp('2018-03-11 02:00:00') 将 return相同的时间戳：

hive> select unix_timestamp('2018-03-11 03:00:00');
OK
1520762400
hive> select unix_timestamp('2018-03-11 02:00:00');
OK
1520762400

还有几个链接供您参考：

https://community.hortonworks.com/questions/82511/change-default-timezone-for-hive.html

http://boristyukin.com/watch-out-for-timezones-with-sqoop-hive-impala-and-spark-2/

也请看看这个jira：Hive should carry out timestamp computations in UTC

Answer 2

我认为您不需要将列转换为日期时间格式，因为您案例中的数据已经排序 (yyyy-MM-dd hh:mm:ss)。您只需要获取所有数字并将其放入一个字符串 (yyyyMMddhhmmss)，然后您可以应用大于或小于 2 小时的选择（此处为 20000，因为小时后跟 mmss）。通过查看您的示例（假设 col2 > col1），此查询将起作用：

SELECT case when regexp_replace(col2,'[^0-9]', '')-regexp_replace(col1,'[^0-9]', '') < 20000 then col1 else col2 end as col3 from your_table;

在不改变数据类型string的情况下计算hive中两列string类型的时间差

Calculate time difference between two columns of string type in hive without changing the data type string

sql

database

hive

hiveql

hive-query