如何使用 SparkSession 创建 emptyRDD -（因为 hivecontext 已被弃用）

Question

IN Spark 版本 1.*

像下面这样创建了空RDD：

var baseDF = hiveContextVar.createDataFrame(sc.emptyRDD[Row], baseSchema)

迁移到 Spark 2.0 时（因为 hiveContext 已被弃用，使用 sparkSession）

试过：

var baseDF = sparkSession.createDataFrame(sc.emptyRDD[Row], baseSchema)

尽管出现以下错误：

org.apache.spark.SparkException: Only one SparkContext may be running in this JVM (see SPARK-2243)

有没有办法使用 sparkSession 创建空的 RDD？

Answer 1

Spark 2.0需要通过spark session引用spark context。您可以如下创建空数据框。它对我有用。

sparkSession.createDataFrame(sparkSession.sparkContext.emptyRDD[行], baseSchema)

希望对你有帮助。