为什么 spark streaming executors 在不同的时间启动？

Question

我正在使用 Spark streaming 1.6，它使用 kafka 作为源

我的输入参数如下：

num-executors    5
num-cores        4
batch Interval  10 sec
maxRate         600
blockInterval   350 ms

为什么我的某些执行程序比其他执行程序启动得晚？？

Answer 1

那不是执行者的开始时间，而是任务的开始时间。

这很可能是由于位置调度。 Spark 延迟了任务的开始，以找到 运行 该任务的最佳执行者。请检查 Spark's documentation 中的配置 "spark.locality.wait" 以获取更多详细信息。