结合 SpqrkSQL 和 GraphX

Question

能否在 SparkSQL 中创建存储过程并调用 GraphX API？像这样：

registerFunction("storedProcedureGraphX", model.storedProcedureGraphX _)

select * from someTable where storedProcedureGraphX(nodeX, nodeY) > 10

Answer 1

如果 GraphX API 你的意思是对 RDD 的任何操作，那么答案是否定的。这将涉及为每一行启动新的 Spark 任务，这绝对不是一个好主意。而且您必须关闭不可序列化的 SparkContext，而您用作 UDF 的函数必须是。