我想保住工作 运行 spark streaming
I want to keep jobs running with sparkstreaming
是否可以一直保持流媒体作业 运行ning？
大约 24 小时后，它吐出此错误并停止处理。
我不太确定如何处理这个问题。
21/01/01 00:03:30 WARN KafkaOffsetReader [stream execution thread for [id =17bf-45aa-a9cd-2f77ec14df61, runId = 43c1-a932-d9f790996a6e]]: Retrying to fetch latest offsets because of incorrect offsets
21/01/01 07:17:04 ERROR RawSocketSender [MdsLoggerSenderThread]: org.fluentd.logger.sender.RawSocketSender
java.net.SocketException: Broken pipe (Write failed)
ssc.awaitTermination()
上面的代码不都是运行吗？
原因：你的kafka队列中没有消息可以消费。
增加 awaitTermination() 的最大重试时间。
即 3000000 毫秒 = 等待消息 5 分钟
ssc.awaitTermination(100000)
注意：根据您的环境更改值。这是至少一条新消息到达 kafka 队列的最长持续时间。
是否可以一直保持流媒体作业 运行ning？ 大约 24 小时后，它吐出此错误并停止处理。 我不太确定如何处理这个问题。
21/01/01 00:03:30 WARN KafkaOffsetReader [stream execution thread for [id =17bf-45aa-a9cd-2f77ec14df61, runId = 43c1-a932-d9f790996a6e]]: Retrying to fetch latest offsets because of incorrect offsets
21/01/01 07:17:04 ERROR RawSocketSender [MdsLoggerSenderThread]: org.fluentd.logger.sender.RawSocketSender
java.net.SocketException: Broken pipe (Write failed)
ssc.awaitTermination()
上面的代码不都是运行吗？
原因：你的kafka队列中没有消息可以消费。
增加 awaitTermination() 的最大重试时间。
即 3000000 毫秒 = 等待消息 5 分钟
ssc.awaitTermination(100000)
注意：根据您的环境更改值。这是至少一条新消息到达 kafka 队列的最长持续时间。