如何在崩溃后重新启动 Spark 执行程序（在 YARN 客户端模式下）？

Question

是否可以在崩溃后重新启动 Spark 执行器？我知道失败的任务在现有的工作 Spark 执行器中重新运行，但我希望有一种方法可以重新启动崩溃的 Spark 执行器。

我运行在客户端模式下在 YARN 上安装 pyspark 1.6

Answer 1

没有。这不可能。 Spark 会处理它，当执行者死亡时，它会在下一次请求 "resource containers" 执行者时请求一个新的执行者。

如果执行者接近要处理的数据，Spark 将根据任务的位置偏好请求新的执行者，并且执行者死亡的主机可能会再次用于 运行新的

执行器是一个 JVM 进程，它为任务生成线程，老实说并没有做太多事情。如果您担心数据块，您应该考虑使用 Spark 的外部随机播放服务。

考虑阅读官方文档中的文档 Job Scheduling。