Spark Streaming：长 queued/active 批次

Question

任何人都可以指出是什么原因导致这些活动批次在那里停留了数周并且从未被处理过？非常感谢。

我猜是executors不够，多workers/executors就能解决问题？或者 Spark 在其任务调度程序中为不同批次分配优先级？

但这里的情况是，最近的批次（6 月底）已成功处理，但 5 月的批次仍在排队中。

我刚刚检查了我的 Spark 设置，调度程序策略是 FIFO

spark.scheduler.mode    FIFO

Answer 1

原来主节点是瓶颈

主节点内存不足，调度器处理速度可能不够快。

解决方案：将主节点更改为更强大的 EC2 实例

Answer 2

在火花提交 将 --diver-memory 和 --executor-memory 设置为适当的值 根据您的事件计数，例如 10000M