reduceByKey 产生 Infinity 值
reduceByKey results in Infinity value
我正在尝试为同一个键添加值。
val final= d1.join(d2).flatMap(line => Seq(line.swap._1)).reduceByKey((x, y) =>(x+y))
d1和d2是数据流。在 flatMap 之后我得到键值对。
但是，它在这一行中产生了 Infinity 值 reduceByKey((x, y) =>(x+y))
例如，如果对是 (k1,1.0) (k1,1.0) 行 reduceByKey((x, y) =>(x+y)) 导致 (k1,Infinity)
有什么建议吗？
以上代码片段有效。正如@maasg righty 暗示的那样，问题出在其他地方。错误是由之前代码中的 division by zero 引起的，我在这里没有 post。谢谢！
我正在尝试为同一个键添加值。
val final= d1.join(d2).flatMap(line => Seq(line.swap._1)).reduceByKey((x, y) =>(x+y))
d1和d2是数据流。在 flatMap 之后我得到键值对。
但是，它在这一行中产生了 Infinity 值 reduceByKey((x, y) =>(x+y))
例如，如果对是 (k1,1.0) (k1,1.0) 行 reduceByKey((x, y) =>(x+y)) 导致 (k1,Infinity)
有什么建议吗？
以上代码片段有效。正如@maasg righty 暗示的那样，问题出在其他地方。错误是由之前代码中的 division by zero 引起的，我在这里没有 post。谢谢！