Scala spark 数据帧按字段合并分组
Scala spark data frames group by with field merging
我有 5 行的数据框：
[user,sun,MainTest2,end,false]
[user,sun,MainTest2,start,false]
[user,sun,MainTest,end,true]
[user,sun,MainTest,start,true]
[user,sun,MainTest,start,true]
我不想实现的是在 4 个字段上合并文本的 2 个聚合行：
[user,sun,MainTest2,end#some_union_symbol#start,false]
[user,sun,MainTest,end#some_union_symbol#start#some_union_symbol#start,true]
我想我需要对 reduce 做些什么，但不太确定。
谢谢！
所有堆栈中只有一个 Answer 我可以找到并使用我的 1.4.1 spark。
对不起，双倍 post
我有 5 行的数据框：
[user,sun,MainTest2,end,false]
[user,sun,MainTest2,start,false]
[user,sun,MainTest,end,true]
[user,sun,MainTest,start,true]
[user,sun,MainTest,start,true]
我不想实现的是在 4 个字段上合并文本的 2 个聚合行：
[user,sun,MainTest2,end#some_union_symbol#start,false]
[user,sun,MainTest,end#some_union_symbol#start#some_union_symbol#start,true]
我想我需要对 reduce 做些什么，但不太确定。 谢谢！
所有堆栈中只有一个 Answer 我可以找到并使用我的 1.4.1 spark。
对不起，双倍 post