当 pairRDD 中的键相同时如何跟踪值?
How to sustrack values when keys are the same in pairRDDs?
我有两个 pairRDDs
(Int, BreezeDenseMatrix[Double])
,我想要的是,当 keys
相同时对它们的值进行减法。
例如当我有
RDD_1
: (1, BreezeMatrix_a)
RDD_2
: (1, BreezeMatrix_b)
想要的结果:(1, BreezeMatrix_a-BreezeMatrix_b)
我尝试了 join
但返回的是 (Int, (BreezeMatrix_a, BreezeMatrix_b))
并且我不知道如何转换第二部分。我不明白它是 set
还是 array
,spark
不清楚。
还有其他想法吗?
让连接的结果为
joinresult = (Int, (BreezeMatrix_a, BreezeMatrix_b))
然后给
actualresult = joinresult.map( a => (a._1,( a._2_1 - a._2_2)))
我有两个 pairRDDs
(Int, BreezeDenseMatrix[Double])
,我想要的是,当 keys
相同时对它们的值进行减法。
例如当我有
RDD_1
: (1, BreezeMatrix_a)
RDD_2
: (1, BreezeMatrix_b)
想要的结果:(1, BreezeMatrix_a-BreezeMatrix_b)
我尝试了 join
但返回的是 (Int, (BreezeMatrix_a, BreezeMatrix_b))
并且我不知道如何转换第二部分。我不明白它是 set
还是 array
,spark
不清楚。
还有其他想法吗?
让连接的结果为
joinresult = (Int, (BreezeMatrix_a, BreezeMatrix_b))
然后给
actualresult = joinresult.map( a => (a._1,( a._2_1 - a._2_2)))