对 RDD 的其余部分执行一个元素的操作

Question

我是 spark 的新手，我真的很喜欢这项技术提供的可能性。我的问题是如何在不使用 for 循环的情况下对每个元素的 RDD 的其余部分执行一个元素的操作。这是我对 for 循环的尝试：

 //RDD[Key:Int,Vector:(Double,Double)]
 val rdd = data.map(x => (x.split(',')(0).toInt,Vectors.dense(x.split(',')(1).toDouble,x.split(',')(2).toDouble)))

 for( ind <- 0 to rdd.count().toInt -1 ) {
   val element1 = rdd.filter(x => x._1 == ind)
   val vector1 = element1.first()._2
   val rdd2 = rdd.map( x => {
        var dist1 = Vectors.sqdist(x._2,vector1)    
        (x._1 , Math.sqrt(dist1))
        })
 }

谢谢你的建议

Answer 1

如果您要查找所有向量之间的距离，请使用 rdd.cartesian :

import org.apache.spark.mllib.linalg.Vectors

val rdd = sc.parallelize(Array("0,1.0,1.0","1,2.0,2.0","2,3.0,3.0"))
val r = rdd.map(x => x.split(","))
           .map(y =>(y(0).toInt, Vectors.dense(y(1).toDouble, y(2).toDouble)))

val res =  r.cartesian(r).map{ case (first, second) => 
   ((first._1, second._1), 
    Math.sqrt(Vectors.sqdist(first._2, second._2))) 
}

但是它计算相同向量之间的距离两次。 (首先 (A,B) 然后 (B,A))

对 RDD 的其余部分执行一个元素的操作

Perform an operation of one element over the rest of the RDD

scala

apache-spark

rdd