使用多个实例将作业提交到 DCOS Spark?

Submit job to DCOS Spark with multiple instances?

当我通过 CLI 提交作业时,我的 DCOS 集群中有两个 spark 实例

dcos spark run --submit-args="\
                 --driver-cores 8 \
                 --driver-memory 16384M \
                 --conf spark.eventLog.enabled=true \
                 --conf spark.eventLog.dir=hdfs://hdfs/history \
                 --class com.CalcPi \
                 <url to job -spark-test-assembly-0.0.5-SNAPSHOT.jar> 99000000"`

作业永远卡在队列中。但是当我只有一个实例时,一切正常。我已经试过了 --deploy-mode cluster --supervise

希望以下配置选项是您正在寻找的答案:

dcos config set spark.app_id spark-one
dcos spark run ...
dcos config set spark.app_id spark-two
dcos spark run ...