Spark-Streaming 中的 DStream 到 Rdd

Question

我有一个 DStream[String,String]，我需要将其转换为 RDD[String,String]。有什么办法吗？我需要使用 Scala 语言。

提前致谢！！

Answer 1

DStream 是 RDD 的离散化序列。直接看直播API.

有了你的 DStream，你可以使用 forEach 函数为每个 RDD 应用转换：

val yourStream: DStream[String] = //...

yourStream.forEachRDD{ rdd =>
   // your rdd transformations...
}

你可以看看例子here

DStream to Rdd in Spark-Straming