YARN集群模式下Spark容器的入口点是什么？

Question

当 Spark 作业在 Yarn 集群模式下（对于 Spark 1.2.0+）运行 时，Spark 执行器的主要入口点是什么？

我正在寻找的是 Executor 入口点的 Scala class 名称（它将是在从机上执行其中一项任务的进程）。

Answer 1

spark-submit --class [FULLY QUALIFIED CLASS NAME]
             --master yarn-cluster
             [JAR_TO_USE]

因此，鉴于上述情况，要使用的 class 是指定的，它是从给定的 jar 中加载的，它会在 class 中搜索 static main方法。

来自SparkSubmit.scala：

val mainMethod = mainClass.getMethod("main", new Array[String](0).getClass)

Answer 2

我想你问的是 org.apache.spark.executor.Executor or perhaps org.apache.spark.executor.Executor$TaskRunner. It is TaskRunner that will ultimately run a task。

它与部署模式（client vs cluster）或使用的集群管理器无关，即 Hadoop YARN 或 Spark Standalone 或 Apache Mesos。