带有 slurm 的多节点上带有 Mpirun 的主机文件

Question

我有两个可执行文件，我想按以下方式运行：对于每个节点，我想启动 N-1 个进程到 exe1 和 1 个 exe2

在以前的 slurm 系统上，这样做是可行的：

#!/bin/bash -l
#SBATCH --job-name=XXX
#SBATCH --nodes=2
#SBATCH --ntasks-per-node=2
#SBATCH --mem=120GB
#SBATCH --time=04:00:00



module purge
module load intel/compiler/2020.1.217
module load openmpi/intel/4.0.5_2020.1.217


scontrol show hostname $SLURM_JOB_NODELIST | perl -ne 'chomb; print "$_"x1'> myhostall
scontrol show hostname $SLURM_JOB_NODELIST | perl -ne 'chomb; print "$_"x1'>>myhostall

mpirun --mca btl_openib_allow_ib 1 --report-bindings -hostfile myhostall -np 2 ./exe1 : -np 2 ./exe2

在这个例子中，我有两个节点，每两个 tasks/node。因此，exe1 应该从每个节点获得 1 个等级，exe2 也类似。

如果我说cat myhostall:

come-0-12
come-0-13
come-0-12
come-0-13

但是在我的代码中，当使用 MPI_GET_PROCESSOR_NAME 打印处理器名称时，结果是 exe1 都排在 come-0-12 并且 exe2 都排在 come-0-13.

那么问题来了：

如何为 exe1 指定每个节点的 N 个任务，为 exe2 指定每个节点的 M 个任务

Answer 1

您可以指定 2 个主机文件，每个 exe 一个

例如

mpirun -np 2 --hostfile hostfile_1 exe1 : -np 2 --hostfile hostfile_2 exe2

在每个主机文件中，您可以指定每个 exe 将在每个节点上使用多少个插槽。

例如（在 https://www.open-mpi.org/faq/?category=running#mpirun-hostfile 中查看更多信息），如果您希望 exe1 和 exe2 从每个节点都有 1 个 CPU，则 hostfile_1 和 hostfile_2 可以是相同的，甚至可能是同一个文件：

node1 slots=1
node2 slots=1

但是，如果 hostsfile_1 和 hostfile_2 包含相同的节点，mpirun 可能会重新分配任务，因为它“认为”更优化。

另一种方法是指定相同的主机文件并使用“--map-by node”指令（默认行为是“--map-by slot”），例如：

mpirun -hostfile hosts.txt -np 2 --map-by node ./exe1 : -hostfile hosts.txt -np 2 --map-by node ./exe2

其中 hosts.txt 包含：

node1 slots=2
node2 slots=2

在我的例子中给出了 (OpenMPI-4.0.4)

EXE1 from processor node1, rank 0 out of 4 processors
EXE1 from processor node2, rank 1 out of 4 processors
EXE2 from processor node1, rank 2 out of 4 processors
EXE2 from processor node2, rank 3 out of 4 processors

也可以使用 rankfiles（如果您使用 OpenMPI）更明确地将任务绑定到特定的 CPU，但它可能有点麻烦...

带有 slurm 的多节点上带有 Mpirun 的主机文件

Hostfile with Mpirun on multinode with slurm

hpc

mpi

slurm