图表在 pyspark 上是否可用，适用于 Spark 3.0+

Question

我想知道 GraphX API 是否可用于 Spark 3.0+ 的 PySpark？我在官方文档中找不到任何此类内容。所有示例均使用 Scala 开发。我在哪里可以获得更多更新。

谢谢，达善

Answer 1

根据 http://ampcamp.berkeley.edu/big-data-mini-course/graph-analytics-with-graphx.html 上的文档：

“GraphX API 目前仅在 Scala 中可用，但我们计划在未来提供 Java 和 Python 绑定。”

但是，您应该查看 GraphFrames (https://github.com/graphframes/graphframes)，它将 GraphX 算法包装在 DataFrames API 下，并提供 Python 接口。

这是来自 https://graphframes.github.io/graphframes/docs/_site/quick-start.html 的简单示例，稍作修改即可使用。

首先，启动 pyspark 并加载 graphframes pkg。

pyspark --packages graphframes:graphframes:0.1.0-spark1.6

python代码：

from graphframes import *

# Create a Vertex DataFrame with unique ID column "id"
v = sqlContext.createDataFrame([
  ("a", "Alice", 34),
  ("b", "Bob", 36),
  ("c", "Charlie", 30),
], ["id", "name", "age"])

# Create an Edge DataFrame with "src" and "dst" columns
e = sqlContext.createDataFrame([
  ("a", "b", "friend"),
  ("b", "c", "follow"),
  ("c", "b", "follow"),
], ["src", "dst", "relationship"])
# Create a GraphFrame
g = GraphFrame(v, e)

# Query: Get in-degree of each vertex.
g.inDegrees.show()

# Query: Count the number of "follow" connections in the graph.
g.edges.filter("relationship = 'follow'").count()

# Run PageRank algorithm, and show results.
results = g.pageRank(resetProbability=0.01, maxIter=20)
results.vertices.select("id", "pagerank").show()

Answer 2

没有

GraphX 计算仅支持使用 Scala 和 RDD API。

见https://docs.databricks.com/spark/latest/graph-analysis/graph-analysis-graphx-tutorial.html

GraphX 是遗留的，这是有道理的。

图表在 pyspark 上是否可用，适用于 Spark 3.0+

Is Graph available on pyspark for Spark 3.0+

apache-spark

spark-graphx

pyspark