关于 2.0.1 版本的 Spark Streaming 的警告

Question

当我尝试将最新的 Spark Streaming 与检查点一起使用时：

cfg = SparkConf().setAppName('MyApp').setMaster('local[3]')
sc = SparkContext(conf=cfg)
ssc = StreamingContext(sparkContext=sc, batchDuration=1)
ssc.checkpoint('checkpoint')

然后我反复收到这个 WARN :

-------------------------------------------
Time: 2016-10-11 10:08:02
-------------------------------------------
('world', 1)
('hello', 1)

16/10/11 10:08:06 WARN DFSClient: Caught exception 
java.lang.InterruptedException
    at java.lang.Object.wait(Native Method)
    at java.lang.Thread.join(Thread.java:1281)
    at java.lang.Thread.join(Thread.java:1355)
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.closeResponder(DFSOutputStream.java:609)
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.endBlock(DFSOutputStream.java:370)
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:546)
-------------------------------------------
Time: 2016-10-11 10:08:03
-------------------------------------------
('world', 1)
('hello', 1)

那是什么？看起来像 HDFS 的 WARN

这是重要信息吗？

我确定 spark ver 2.0.0 没有 WARN

Answer 1

为了完整起见，我将评论移到了答案

我认为问题是 hadoop-hdfs.jar 从 v2.7.2 升级到 v2.7.3。 Spark 2.0.0 使用 2.7.2 而 Spark 2.0.1 使用 2.7.3

关于 2.0.1 版本的 Spark Streaming 的警告

WARN about spark streaming by ver 2.0.1

hdfs

apache-spark

spark-streaming

pyspark