spark-submit 可以用作作业调度程序吗?
can spark-submit be used as a job scheduler?
我有一个没有安装其他作业调度程序的 spark 独立集群。我想知道 spark-submit
是否可以用作 spark 和非 spark 作业的作业调度程序(例如,不是为 Spark 编写且不使用 RDD 的 scala jar)?
根据我的测试,spark-submit
用于提交非 Spark 作业和作业 运行 成功。但这是我的问题:
- 下面的选项还有意义吗?
--driver-cores
--driver-memory
--executor-memory
--total-executor-cores
- 如果否为 1,是否意味着
spark-submit
可以使用 FIFO 维护一个 spark 和 non-spark 作业的队列,但它不管理 non-spark 作业的资源?
- 如果 2 为真,我是否应该使用另一个调度程序,例如SGE 或 LSF,提交非 spark 作业?
谢谢!
经过多次测试,我明白了。是的,spark standalone 可以作为 spark 和非 spark 作业的作业调度程序。
- 但是,对于非 spark 作业,
spark-submit
只创建驱动程序,不创建执行程序。
- 作业在 FIFO 队列中安排,队列头部的作业仅在其资源需求时才开始,例如满足
spark-submit
命令中指定的内核和内存。
我有一个没有安装其他作业调度程序的 spark 独立集群。我想知道 spark-submit
是否可以用作 spark 和非 spark 作业的作业调度程序(例如,不是为 Spark 编写且不使用 RDD 的 scala jar)?
根据我的测试,spark-submit
用于提交非 Spark 作业和作业 运行 成功。但这是我的问题:
- 下面的选项还有意义吗?
--driver-cores --driver-memory --executor-memory --total-executor-cores
- 如果否为 1,是否意味着
spark-submit
可以使用 FIFO 维护一个 spark 和 non-spark 作业的队列,但它不管理 non-spark 作业的资源? - 如果 2 为真,我是否应该使用另一个调度程序,例如SGE 或 LSF,提交非 spark 作业?
谢谢!
经过多次测试,我明白了。是的,spark standalone 可以作为 spark 和非 spark 作业的作业调度程序。
- 但是,对于非 spark 作业,
spark-submit
只创建驱动程序,不创建执行程序。 - 作业在 FIFO 队列中安排,队列头部的作业仅在其资源需求时才开始,例如满足
spark-submit
命令中指定的内核和内存。