updateStateByKey函数的DStream return 是否只包含一个RDD?
Is the DStream return by updateStateByKey function only contains one RDD?
updateStateByKey函数的DStreamreturn是否只包含一个RDD?如果不是,什么情况下DStream会包含多个RDD?
每批包含一个RDD。 updateStateByKey 返回的 DStream 是 "state" DStream。不过,您仍然可以将此 DStream 视为普通 DStream。对于每个批次,RDD 都根据您传递给 updateStateByKey 的更新函数表示最新状态(键值对)。
好像不像你说的那样,作为应用程序一部分的代码每批只打印一次,所以我认为每个有状态的 DStream 只有一个 RDD
@transient val statefulDStream = lines.transform(...).map(x => (x, 1)).updateStateByKey(updateFuncs)
statefulDStream.foreachRDD { rdd =>
println(rdd.first())
}
是的,updateStateByKey 的 DStream return 只有一个 RDD
updateStateByKey函数的DStreamreturn是否只包含一个RDD?如果不是,什么情况下DStream会包含多个RDD?
每批包含一个RDD。 updateStateByKey 返回的 DStream 是 "state" DStream。不过,您仍然可以将此 DStream 视为普通 DStream。对于每个批次,RDD 都根据您传递给 updateStateByKey 的更新函数表示最新状态(键值对)。
好像不像你说的那样,作为应用程序一部分的代码每批只打印一次,所以我认为每个有状态的 DStream 只有一个 RDD
@transient val statefulDStream = lines.transform(...).map(x => (x, 1)).updateStateByKey(updateFuncs)
statefulDStream.foreachRDD { rdd =>
println(rdd.first())
}
是的,updateStateByKey 的 DStream return 只有一个 RDD