根据 Presto/Hive 中的列值聚合列

Question

我正在尝试创建一个数据集，在其中根据另一列的值聚合一列。举个例子

 id      | score | id2 | offensive 
---------+-------+-----+-----------
 a1      | 1.2   | 1   | false     
 a2      | 36.0  | 1   | true      
 a3      | 1.2   | 1   | true      
 a4      | 36.0  | 1   | false

我想要的是最终创建一个包含两个列表的数组，以按攻击性列和与之相关的 id 进行分组，并按得分值对它们进行排序。类似于以下内容：

 id      |id2  | clean_group | offensive_group
---------+-----+-------------+-----------------
 a1      | 1   | [a2, a3]    | [a4, a1]
 a2      | 1   | [a2, a3]    | [a4, a1]
 a3      | 1   | [a2, a3]    | [a4, a1]
 a4      | 1   | [a2, a3]    | [a4, a1]

我知道这是冗余数据，但这是必需的，并且应该注意 id 将全部不同且唯一，并且 id2 将全部相同。我一直在查看 presto 中的 array_agg 函数和 hive 中的 collect_set 函数来尝试完成此操作，但遇到了很多麻烦。

有人可以帮忙吗？我们是否能够以某种方式在聚合中传递条件，我们说 array_agg(id where offensive=true) 等

Answer 1

我认为您需要使用过滤器语法进行聚合：array_agg(id) filter (where offensive)。这将只处理与过滤器匹配的行。

Answer 2

考虑到冒犯性的列是一个字符串，我想这应该对你有帮助

SELECT
 id,
 id2,
 CASE
  WHEN offensive = 'true' then concat_ws(',',collect_set(id))
 END AS clean_group,
 CASE
  WHEN offensive = 'false' then concat_ws(',',collect_set(id))
 END AS offensive_group
FROM
table_name;

根据 Presto/Hive 中的列值聚合列

Aggregating a column based on column values in Presto/Hive

hive

presto

hiveql