Slurm: Error when submitting to multiple nodes ("slurmstepd: error: execve(): python: No such file or directory")

Question

我有一个 bash 脚本 submit.sh 用于将训练作业提交到 Slurm 服务器。它的工作原理如下。正在做

bash submit.sh p1 8 config_file

会将config_file对应的一些任务提交给分区p1的8个GPU。 p1 的每个节点有 4 个 GPU，因此此命令请求 2 个节点。

submit.sh的内容可以总结如下，其中我使用sbatch提交了一个Slurm脚本（train.slurm）：

#!/bin/bash
# submit.sh

PARTITION=
NGPUs=
CONFIG=

NGPUS_PER_NODE=4
NCPUS_PER_TASK=10

sbatch --partition ${PARTITION} \
    --job-name=${CONFIG} \
    --output=logs/${CONFIG}_%j.log \
    --ntasks=${NGPUs} \
    --ntasks-per-node=${NGPUS_PER_NODE} \
    --cpus-per-task=${NCPUS_PER_TASK} \
    --gres=gpu:${NGPUS_PER_NODE} \
    --hint=nomultithread \
    --time=10:00:00
    --export=CONFIG=${CONFIG},NGPUs=${NGPUs},NGPUS_PER_NODE=${NGPUS_PER_NODE} \
    train.slurm

现在在 Slurm 脚本中，train.slurm，我决定是否在一个或多个节点上启动训练 Python 脚本（这两种情况下启动它的方式不同）：

#!/bin/bash
# train.slurm
#SBATCH --distribution=block:block

# Load Python environment
module purge
module load pytorch/py3/1.6.0
 
set -x

if [ ${NGPUs} -gt ${NGPUS_PER_NODE} ]; then # Multi-node training
    # Some variables needed for the training script
    export MASTER_PORT=12340
    export WORLD_SIZE=${NGPUs}
    # etc.

    srun python train.py --cfg ${CONFIG}
else # Single-node training
    python -u -m torch.distributed.launch --nproc_per_node=${NGPUS_PER_NODE} --use_env train.py --cfg ${CONFIG}
fi

现在，如果我在单个节点上提交（例如，bash submit.sh p1 4 config_file），它会按预期工作。但是，在多个节点上提交（例如 bash submit.sh p1 8 config_file）会产生以下错误：

slurmstepd: error: execve(): python: No such file or directory

这意味着 Python 环境在其中一个节点上无法识别。我尝试用 $(which python) 替换 python 以获取虚拟环境中 Python 二进制文件的完整路径，但随后我得到另一个错误：

OSError: libmpi_cxx.so.40: cannot open shared object file: No such file or directory

如果我不使用 submit.sh 而是将所有 #SBATCH 变量添加到 train.slurm，然后直接从命令行使用 sbatch 提交作业，然后就可以了。因此，似乎 在 bash 脚本中包装 sbatch 导致了这个问题。

你能帮我解决这个问题吗？

在此先感谢您。

Answer 1

请注意，--export 参数将导致 srun 的环境被重置为所有 SLURM_* 变量加上显式设置的变量，因此在您的情况下 CONFIG、NGPUs、NGPUS_PER_NODE。因此，将不会设置 PATH 变量，并且 srun 将找不到 python 可执行文件。

请注意，--export 不会改变提交脚本的环境，因此不使用 srun 的单节点情况确实运行没问题。

尝试使用

提交

--export=ALL,CONFIG=${CONFIG},NGPUs=${NGPUs},NGPUS_PER_NODE=${NGPUS_PER_NODE} \

注意添加的 ALL 作为列表中的第一项。

另一种选择是完全删除 --export 行并在 submit.sh 脚本中显式导出变量，因为 Slurm 默认将提交环境传播到作业。

export PARTITION=
export NGPUs=
export CONFIG=

export NGPUS_PER_NODE=4
export NCPUS_PER_TASK=10

Slurm: Error when submitting to multiple nodes ("slurmstepd: error: execve(): python: No such file or directory")

Slurm: Error when submitting to multiple nodes ("slurmstepd: error: execve(): python: No such file or directory")

bash

distributed-computing

slurm

sbatch