Spark Graphx 有像 Gephi 那样的可视化吗

Question

我是图形世界的新手。我被分配从事图形处理工作。现在我了解了 Apache Spark，所以想到了使用它 Graphx 来处理大图。然后我发现 Gephi 提供了很好的 GUI 来操作图形。

Graphx有没有这样的工具或者主要是并行图处理库。我可以将 json 来自 Gephi 的图表数据导入 graphx 吗？

Answer 1

不，Apache Spark Graphx 没有可视化，它只是一个处理引擎，但您可以使用 Gephi 的 API.

将数据从 Gephi 导入 GraphX

Answer 2

除此之外，您还可以试试 Graphlab https://dato.com/products/create/open_source.html

直接支持Spark RDD https://dato.com/learn/userguide/data_formats_and_sources/spark_integration.html

之后不需要太多工作

from pyspark import SparkContext
import graphlab as gl

sc = SparkContext('yarn-client')

t = sc.textFile("hdfs://some/large/file")
sf = gl.SFrame.from_rdd(t)

# do stuff...

out_rdd = sf.to_rdd(sc)

Spark Graphx 有像 Gephi 那样的可视化吗

Does Spark Graphx have visualization like Gephi

apache-spark

graph

spark-graphx