如何在本地模式下使用许多 worker 而不仅仅是 运行 发送 slurm 作业？
How to send a slurm job using many workers and not just running in local mode?
我想 运行 python 脚本使用命令 spark-submit 在 slurm 集群上使用命令 s运行 和 sbatch。当我 运行 我当前的脚本时，它 运行 一直到结束并且结束状态为 COMPLETED。但是，查看 spark 的 history-server，我可以看到所有作业 ID 都被命名为 "local..."。当我检查环境变量时，"spark.master" 总是设置为 local[*]。我尝试了很多东西并阅读了很多文档，但我找不到如何使用多个工人。
这是我的配置：
#SBATCH --time=00:05:00
#SBATCH --nodes=4
#SBATCH --ntasks=4
#SBATCH --mem=4G
#SBATCH --cpus-per-task=8
#SBATCH --ntasks-per-node=1
module load spark/2.3.0
module load python/3.7
source ~/acc_env/bin/activate
export MKL_NUM_THREADS=1
export SPARK_IDENT_STRING=$SLURM_JOBID
export SPARK_WORKER_DIR=$SLURM_TMPDIR
export SLURM_SPARK_MEM=$(printf "%.0f" $((${SLURM_MEM_PER_NODE} *95/100)))
#start master
start-master.sh
sleep 20
MASTER_URL_STRING=$(grep -Po '(?=spark://).*' $SPARK_LOG_DIR/spark-${SPARK_IDENT_STRING}-org.apache.spark.deploy.master*.out)
IFS=' '
read -ra MASTER_URL <<< "$MASTER_URL_STRING"
echo "master url :" ${MASTER_URL}
NWORKERS=$((SLURM_NTASKS - 1))
下面是我用来启动工作程序和脚本的命令：
SPARK_NO_DAEMONIZE=1 srun -n ${NWORKERS} -N ${NWORKERS} --label --output=$SPARK_LOG_DIR/spark-%j-workers.out start-slave.sh -m 4g -c ${SLURM_CPUS_PER_TASK} ${MASTER_URL} &
slaves_pid=$!
srun -n 1 -N 1 spark-submit main.py --master ${MASTER_URL} --executor-memory 4g
我找到了答案。如果以后有人遇到同样的问题，我 post 会在那里。问题是我将参数放入 srun spark-submit 命令的顺序。您必须将入口点程序（此处为main.py）放在选项之后，因为我不知道为什么但似乎在入口点参数之后丢弃了参数。
我想 运行 python 脚本使用命令 spark-submit 在 slurm 集群上使用命令 s运行 和 sbatch。当我 运行 我当前的脚本时，它 运行 一直到结束并且结束状态为 COMPLETED。但是，查看 spark 的 history-server，我可以看到所有作业 ID 都被命名为 "local..."。当我检查环境变量时，"spark.master" 总是设置为 local[*]。我尝试了很多东西并阅读了很多文档，但我找不到如何使用多个工人。
这是我的配置：
#SBATCH --time=00:05:00
#SBATCH --nodes=4
#SBATCH --ntasks=4
#SBATCH --mem=4G
#SBATCH --cpus-per-task=8
#SBATCH --ntasks-per-node=1
module load spark/2.3.0
module load python/3.7
source ~/acc_env/bin/activate
export MKL_NUM_THREADS=1
export SPARK_IDENT_STRING=$SLURM_JOBID
export SPARK_WORKER_DIR=$SLURM_TMPDIR
export SLURM_SPARK_MEM=$(printf "%.0f" $((${SLURM_MEM_PER_NODE} *95/100)))
#start master
start-master.sh
sleep 20
MASTER_URL_STRING=$(grep -Po '(?=spark://).*' $SPARK_LOG_DIR/spark-${SPARK_IDENT_STRING}-org.apache.spark.deploy.master*.out)
IFS=' '
read -ra MASTER_URL <<< "$MASTER_URL_STRING"
echo "master url :" ${MASTER_URL}
NWORKERS=$((SLURM_NTASKS - 1))
下面是我用来启动工作程序和脚本的命令：
SPARK_NO_DAEMONIZE=1 srun -n ${NWORKERS} -N ${NWORKERS} --label --output=$SPARK_LOG_DIR/spark-%j-workers.out start-slave.sh -m 4g -c ${SLURM_CPUS_PER_TASK} ${MASTER_URL} &
slaves_pid=$!
srun -n 1 -N 1 spark-submit main.py --master ${MASTER_URL} --executor-memory 4g
我找到了答案。如果以后有人遇到同样的问题，我 post 会在那里。问题是我将参数放入 srun spark-submit 命令的顺序。您必须将入口点程序（此处为main.py）放在选项之后，因为我不知道为什么但似乎在入口点参数之后丢弃了参数。