如何在 Hive 中过滤掉具有 NaN 值的行？

Question

我在Hue中运行一个hivetable求和函数，得到一个return值为NaN

这是我的代码：

select sum(v1) from hivedb.tb1;

我不知道为什么它给我一个 NaN 结果。我检查了我的 v1 值是否为空：

select * from hivedb.tb1 where v1 is null;

，结果没有记录为空值。 table 有 1 亿行，所以我无法对每条记录进行手动检查。

有人知道我为什么得到 NaN 结果吗？
如果是因为我在某些行中有一些异常值，我该如何找到它们？

感谢任何帮助。提前致谢！

更新 1 我手动筛选了前1000行，幸运地在tb1中发现了一些异常的NaN值。这是由于前面步骤的一些舍入误差造成的。所以我的问题 1 可能得到了回答。如果您认为可能还有其他原因，请随时发表评论。

我仍然不知道如何使用有效的方法来发现具有 NaN 值的行。所以我仍然期待我的问题 #2 的任何答案。请随时分享。感谢您的帮助。

更新 2 在下面的讨论部分中，在接受的答案中帮助解决了这个问题。有多种处理方法。

使用条件 selection of v1+1 >v1。它将 select 具有非 NaN 值的行。
使用条件 selection of cast(v1 as String) ='NaN'。它将 select 具有 NaN 值的行。

Answer 1

您可以将 NaN 处理为

SELECT SUM(CAST(IF(v1 ='NaN', 0, v1)) as Double) FROM hivedb.tb1

Answer 2

Hive 依赖于 Java （加上 SQL 特定于 Null 和朋友的语义），并且 Java 遵守 IEEE 标准数字语义。这意味着... NaN 很棘手。

引用 that post...

(Float.NaN == Float.NaN) always returns false.
In fact, if you look at the JDK implementation of Float.isNaN(), a number is not-a-number if it is not equal to itself (which makes sense because a number should be equal to itself).
The same holds for Double.NaN

因此，没有必要向您展示如何使用名为 reflect2 的（未记录的）Hive 函数，它允许您在 Hive 列上调用原始 Java 方法，即

where v1 is not null and not reflect2(v1, "isNaN")

...因为——理论上——你可以简单地声明：

where v1 is not null and v1=v1

免责声明 -- 我曾见过 Hive 优化器主动 "optimizations" 并产生错误结果的情况。
换句话说，如果简单的 v1=v1 子句没有按预期过滤掉 NaN 值，则查看 reflect2...

Edit——事实上，优化器在某些版本的 Hive [=47 中似乎忽略了 v1=v1 子句=]（见评论）所以需要一个更曲折的公式：

v1 +1.0 > v1 应该可以工作...除非舍入错误使 abs(v1) << 1 或 abs(v1) >> 1
其他 "numeric" 技巧在极端情况下也会同样失败，尤其是当 v1 =0.0

最后，最可靠的方法似乎是尝试 cast(v1 as String) <>'NaN' （因为所有可能的 NaN 值都显示为 "NaN"即使它们在算术意义上不是严格的 "equal").

关于 reflect2 的旁注——你可以看到 the official Hive doc, while reflect is mentioned (and even has a specific Wiki entry). But it has been implemented as early as Hive V0.11 cf. Hive-4025

中确实没有提到它

Edit -- Java "reflection" 现在默认禁用 ODBC / JDBC / Hue连接（见评论），使用ranger或Sentry等安全插件时无法重新启用。因此它的使用仅限于（已弃用）hive CLI。

Answer 3

不确定这是否适用于许多情况，但在 Hive 3 中我得到：

select float('NaN') = float('NaN')

returns 正确

所以理论上：

select * from hivedb.tb1 where v1 <> float('NaN');

应该做到这一点

如何在 Hive 中过滤掉具有 NaN 值的行？

How to filter out rows with NaN values in Hive?

sql

hadoop

hive

nan

hue