SparkContext 和 StreamingContext 可以共存于同一个程序中吗？

Question

我正在尝试设置一个 Sparkstreaming 代码，该代码从 Kafka 服务器读取行，但使用另一个本地文件中编写的规则对其进行处理。我正在为流数据创建 streamingContext 并为其他应用所有其他 spark 功能创建 sparkContext - 如字符串操作、读取本地文件等

val sparkConf = new SparkConf().setMaster("local[*]").setAppName("ReadLine")
val ssc = new StreamingContext(sparkConf, Seconds(15))
ssc.checkpoint("checkpoint")

    val topicMap = topics.split(",").map((_, numThreads.toInt)).toMap
    val lines = KafkaUtils.createStream(ssc, zkQuorum, group, topicMap).map(_._2)
    val sentence = lines.toString

    val conf = new SparkConf().setAppName("Bi Gram").setMaster("local[2]")
    val sc = new SparkContext(conf)
    val stringRDD = sc.parallelize(Array(sentence))

但这会引发以下错误

Exception in thread "main" org.apache.spark.SparkException: Only one SparkContext may be running in this JVM (see SPARK-2243). To ignore this error, set spark.driver.allowMultipleContexts = true. The currently running SparkContext was created at:
org.apache.spark.SparkContext.<init>(SparkContext.scala:82)
org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:874)
org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:81)

Answer 1

一个申请只能有一个SparkContext。 StreamingContext 创建于 SparkContext。只需要使用 SparkContext

创建 ssc StreamingContext

val sc = new SparkContext(conf)
val ssc = new StreamingContext(sc, Seconds(15))

如果使用下面的构造函数。

StreamingContext(conf: SparkConf, batchDuration: Duration)

它在内部创建另一个 SparkContext

this(StreamingContext.createNewSparkContext(conf), null, batchDuration)

SparkContext 可以通过

从 StreamingContext 得到

ssc.sparkContext

Answer 2

是的，你可以做到你必须先启动 spark session 和

然后使用其上下文启动任意数量的流上下文

val spark = SparkSession.builder().appName("someappname").
config("spark.sql.warehouse.dir",warehouseLocation).getOrCreate()

val ssc = new StreamingContext(spark.sparkContext, Seconds(1))

简单！！！

SparkContext 和 StreamingContext 可以共存于同一个程序中吗？

Can SparkContext and StreamingContext co-exist in the same program?

scala

apache-spark

spark-streaming