spark-scala 中 rdd(String,String,Long) 的字数统计
word count in spark-scala for rdd(String,String,Long)
我是 Spark-scala 的新手,正在尝试解决简单的字数统计问题(具有多个属性作为键)。我可以得到一些意见吗?
我有一个 Rdd(String,String,Long) 之类的
(a,b,1)
(a,c,1)
(a,c,1)
(b,b,1)
(b,b,1)
想要的结果是像 rdd
(a,b,1)
(a,c,2)
(b,b,2)
尝试:
rdd.map {
case (x, y, c) => ((x, y), c)
}.reduceByKey(_ + _)
我是 Spark-scala 的新手,正在尝试解决简单的字数统计问题(具有多个属性作为键)。我可以得到一些意见吗? 我有一个 Rdd(String,String,Long) 之类的 (a,b,1) (a,c,1) (a,c,1) (b,b,1) (b,b,1)
想要的结果是像 rdd (a,b,1) (a,c,2) (b,b,2)
尝试:
rdd.map {
case (x, y, c) => ((x, y), c)
}.reduceByKey(_ + _)