GraphX中Pregel中顶点程序和Merge Message部分的区别API

Question

我是 GraphX 的新手，不了解 Pregel 中的 Vertex Program 和 Merge Message 部分 API。他们不做同样的事情吗？例如，从 Spark 网站获取的以下 Pregel 代码中的 Vertex Program 和 Merge Message 部分有什么区别？

import org.apache.spark.graphx._
// Import random graph generation library
import org.apache.spark.graphx.util.GraphGenerators
// A graph with edge attributes containing distances
val graph: Graph[Long, Double] =
  GraphGenerators.logNormalGraph(sc, numVertices = 100).mapEdges(e => e.attr.toDouble)
val sourceId: VertexId = 42 // The ultimate source
// Initialize the graph such that all vertices except the root have distance infinity.
val initialGraph = graph.mapVertices((id, _) => if (id == sourceId) 0.0 else Double.PositiveInfinity)
val sssp = initialGraph.pregel(Double.PositiveInfinity)(
  (id, dist, newDist) => math.min(dist, newDist), **// Vertex Program**
  triplet => {  // Send Message
    if (triplet.srcAttr + triplet.attr < triplet.dstAttr) {
      Iterator((triplet.dstId, triplet.srcAttr + triplet.attr))
    } else {
      Iterator.empty
    }
  },
  (a,b) => math.min(a,b) **// Merge Message**
  )
println(sssp.vertices.collect.mkString("\n"))

Answer 1

一方面，mergeMsg 部分无法访问任何 Vertex 的上下文——它只获取单独的消息并创建单个消息。该消息又作为一条消息发送到 vprog。

因此，vprog 无法访问个别消息，只能访问总数（无论那是什么意思）。而 mergeMsg 只能接受两条消息并创建一条消息。 mergeMessage 发生直到只剩下一条消息 -- 总数 -- 正如我所说，它被传递给 vprog.

GraphX中Pregel中顶点程序和Merge Message部分的区别API

Difference between the vertex program and Merge Message part in Pregel API in GraphX

spark-graphx