spark-submit 可以用作作业调度程序吗?

can spark-submit be used as a job scheduler?

我有一个没有安装其他作业调度程序的 spark 独立集群。我想知道 spark-submit 是否可以用作 spark 和非 spark 作业的作业调度程序(例如,不是为 Spark 编写且不使用 RDD 的 scala jar)?

根据我的测试,spark-submit 用于提交非 Spark 作业和作业 运行 成功。但这是我的问题:

  1. 下面的选项还有意义吗? --driver-cores --driver-memory --executor-memory --total-executor-cores
  2. 如果否为 1,是否意味着 spark-submit 可以使用 FIFO 维护一个 spark 和 non-spark 作业的队列,但它不管理 non-spark 作业的资源?
  3. 如果 2 为真,我是否应该使用另一个调度程序,例如SGE 或 LSF,提交非 spark 作业?

谢谢!

经过多次测试,我明白了。是的,spark standalone 可以作为 spark 和非 spark 作业的作业调度程序。

  1. 但是,对于非 spark 作业,spark-submit 只创建驱动程序,不创建执行程序。
  2. 作业在 FIFO 队列中安排,队列头部的作业仅在其资源需求时才开始,例如满足 spark-submit 命令中指定的内核和内存。