使用多个实例将作业提交到 DCOS Spark?
Submit job to DCOS Spark with multiple instances?
当我通过 CLI 提交作业时,我的 DCOS 集群中有两个 spark 实例
dcos spark run --submit-args="\
--driver-cores 8 \
--driver-memory 16384M \
--conf spark.eventLog.enabled=true \
--conf spark.eventLog.dir=hdfs://hdfs/history \
--class com.CalcPi \
<url to job -spark-test-assembly-0.0.5-SNAPSHOT.jar> 99000000"`
作业永远卡在队列中。但是当我只有一个实例时,一切正常。我已经试过了
--deploy-mode cluster --supervise
希望以下配置选项是您正在寻找的答案:
dcos config set spark.app_id spark-one
dcos spark run ...
dcos config set spark.app_id spark-two
dcos spark run ...
当我通过 CLI 提交作业时,我的 DCOS 集群中有两个 spark 实例
dcos spark run --submit-args="\
--driver-cores 8 \
--driver-memory 16384M \
--conf spark.eventLog.enabled=true \
--conf spark.eventLog.dir=hdfs://hdfs/history \
--class com.CalcPi \
<url to job -spark-test-assembly-0.0.5-SNAPSHOT.jar> 99000000"`
作业永远卡在队列中。但是当我只有一个实例时,一切正常。我已经试过了
--deploy-mode cluster --supervise
希望以下配置选项是您正在寻找的答案:
dcos config set spark.app_id spark-one
dcos spark run ...
dcos config set spark.app_id spark-two
dcos spark run ...