如何在 Scala 中执行两个 DStream 之间的压缩?
How to perform zipping between two DStreams in Scala?
我有两个 windowed dstream,我想像 RDD 中的正常压缩一样压缩它们。
注意:主要目标是计算 window dstream 的平均值和标准差,以防有更好的计算方法。
我使用DStream的transformWith来使用这个rdd操作,这解决了我的问题。
示例:
valueStream.transformWith(mean, (rdd1: RDD[Int], rdd2 : RDD[Double]) => {rdd1.zip(rdd2)}
我有两个 windowed dstream,我想像 RDD 中的正常压缩一样压缩它们。
注意:主要目标是计算 window dstream 的平均值和标准差,以防有更好的计算方法。
我使用DStream的transformWith来使用这个rdd操作,这解决了我的问题。
示例:
valueStream.transformWith(mean, (rdd1: RDD[Int], rdd2 : RDD[Double]) => {rdd1.zip(rdd2)}