如何停止 Spark Streaming

Question

我正在开发 Twitter 连接器。我想在一分钟后停止流式传输。 任何人都可以提出这样做​​的想法吗？ 我试过 ssc.awaitTermination(60000)。但是没用。

Answer 1

请注意，带超时的 awaitTermination 已弃用：

https://github.com/apache/spark/blob/master/streaming/src/main/scala/org/apache/spark/streaming/StreamingContext.scala#L633

但是，对于 awaitTermination 或 awaitTerminationOrTimeout，您应该在其后加上 ssc.stop，以便在达到超时后停止上下文。