将spark中两个rdds的值相除(python)
Divide the values of two rdds in spark (python)
我在 spark 中有这两个键值 RDD：
rdd1 = [(u'Key1', 4), (u'Key2', 6), (u'Key3', 10)]
rdd2 = [(u'Key1', 4), (u'Key2', 3), (u'Key3', 2)]
然后我查看 spark 函数以获得值的除法：(rdd3= (rdd1/rdd2))
在这种情况下：
rdd3 = [(u'Key1', 1), (u'Key2', 2), (u'Key3', 5)]
您可以 join 和 mapValues:
rdd1.join(rdd2).mapValues(lambda x: x[0] / x[1])
我在 spark 中有这两个键值 RDD：
rdd1 = [(u'Key1', 4), (u'Key2', 6), (u'Key3', 10)]
rdd2 = [(u'Key1', 4), (u'Key2', 3), (u'Key3', 2)]
然后我查看 spark 函数以获得值的除法：(rdd3= (rdd1/rdd2))
在这种情况下：
rdd3 = [(u'Key1', 1), (u'Key2', 2), (u'Key3', 5)]
您可以 join 和 mapValues:
rdd1.join(rdd2).mapValues(lambda x: x[0] / x[1])