Spark Streaming 错误 - Window of Windowed DStream 不工作

Question

Window of Windowed Dstream 在 Spark Streaming 中不工作。这似乎是 Spark Streaming 中的一个调度程序错误。

val layer0= // Input data
val layer1 = layer0.window(Seconds(30), Seconds(30)) // Works
layer1.foreachRDD(...)

val layer2 = layer1.window(Seconds(60), Seconds(60)) // Does not work
layer2.foreachRDD(...)

任何人都遇到过这个问题，并了解如何在 Spark 中解决这个问题。

从驱动程序日志中添加更多详细信息：

时间1433141250000：

2015-06-01 06:47:30 INFO MapValuedDStream - 时间 1433141250000 ms 无效，因为 zeroTime 为 1433141240000 ms，slideDuration 为 30000 ms，差异为 10000 ms

2015-06-01 06:47:30 INFO MapValuedDStream - 时间 1433141250000 ms 无效，因为 zeroTime 为 1433141240000 ms，slideDuration 为 60000 ms，差异为 10000 ms

时间 1433141260000 :

2015-06-01 06:47:40 INFO MapValuedDStream - 时间 1433141260000 ms 无效，因为 zeroTime 为 1433141240000 ms，slideDuration 为 30000 ms，差异为 20000 ms

2015-06-01 06:47:40 INFO MapValuedDStream - 时间 1433141260000 毫秒无效，因为零时间为 1433141240000 毫秒，slideDuration 为 60000 毫秒，差异为 20000 毫秒

时间 1433141270000 : (30S)

2015-06-01 06:47:50 INFO FilteredDStream - 从 1433141250000 毫秒切片到 1433141270000 毫秒（对齐到 1433141250000 毫秒和 1433141270000 毫秒）

2015-06-01 06:47:50 INFO MapValuedDStream - 时间 1433141270000 毫秒无效，因为零时间为 1433141240000 毫秒，slideDuration 为 60000 毫秒，差异为 30000 毫秒

时间 1433141280000 : 2015-06-01 06:48:00 INFO MapValuedDStream - 时间 1433141280000 ms 无效，因为 zeroTime 为 1433141240000 ms，slideDuration 为 30000 ms，差异为 40000 ms

2015-06-01 06:48:00 INFO MapValuedDStream - 时间 1433141280000 毫秒无效，因为零时间为 1433141240000 毫秒，slideDuration 为 60000 毫秒，差异为 40000 毫秒

时间 1433141290000 :

2015-06-01 06:48:10 INFO MapValuedDStream - 时间 1433141290000 ms 无效，因为 zeroTime 为 1433141240000 ms，slideDuration 为 30000 ms，差异为 50000 ms

2015-06-01 06:48:10 INFO MapValuedDStream - 时间 1433141290000 毫秒无效，因为零时间为 1433141240000 毫秒，slideDuration 为 60000 毫秒，差异为 50000 毫秒

时间 1433141300000 : (60S)

2015-06-01 06:48:20 信息 WindowedDStream - 从 1433141270000 毫秒切片到 1433141300000 毫秒（对齐到 1433141250000 毫秒和 1433141280000 毫秒）

2015-06-01 06:48:20 信息 WindowedDStream - 时间 1433141250000 毫秒无效，因为零时间为 1433141240000 毫秒，slideDuration 为 30000 毫秒，差异为 10000 毫秒

2015-06-01 06:48:20 信息 WindowedDStream - 时间 1433141280000 毫秒无效，因为零时间为 1433141240000 毫秒，slideDuration 为 30000 毫秒，差异为 40000 毫秒

Answer 1

这确实是一个错误，我已将其记录为 SPARK-7326. I've also fixed it myself. See my pull request，已合并到 master 中。我相信修复将在 1.4.0 版本中。

Spark Streaming 错误 - Window of Windowed DStream 不工作

Spark Streaming Bug - Window of Windowed DStream does not work

apache-spark

spark-streaming