MPI_Comm_spawn 失败 "All nodes which are allocated for this job are already filled"

Question

我正在尝试使用 Torque 的 (5.1.1) qsub 命令启动多个 OpenMPI 进程，每个节点一个进程，并让每个进程启动一个使用 MPI_Comm_spawn() 在其 own local 节点上处理。 MPI_Comm_spawn() 正在报告：

All nodes which are allocated for this job are already filled.

我的 OpenMPI 版本是 4.0.1。

我按照此处的说明来控制节点的映射。

Controlling node mapping of MPI_COMM_SPAWN

使用 mpiexec 的 --map-by ppr:1:node 选项和主机文件（以编程方式派生来自 Torque 生成的 ${PBS_NODEFILE} 文件）。我的派生文件 MyHostFile 看起来像这样：

n001.cluster.com slots=2 max_slots=2
n002.cluster.com slots=2 max_slots=2

而原来的${PBS_NODEFILE}只有节点名称，没有插槽规格。

我的 qsub 命令是

qsub -V -j oe -e ./tempdir -o ./tempdir  -N MyJob   MyJob.bash

来自 MyJob.bash 的 mpiexec 命令是

mpiexec --display-map --np 2 --hostfile MyNodefile --map-by ppr:1:node <executable>.

MPI_Comm_spawn() 导致打印此错误：

Data for JOB [22220,1] offset 0 Total slots allocated 1   <=====

 ========================   JOB MAP   ========================

 Data for node: n001    Num slots: 1    Max slots: 0    Num procs: 1
        Process OMPI jobid: [22220,1] App: 0 Process rank: 0 Bound: socket 0[core 0[hwt 0]]:[B/././././././././.][./././././././././.]

 =============================================================

All nodes which are allocated for this job are already filled.

我想到了两件事： (1) "Total slots allocated" 是上面的 1，但我至少需要两个空位。 (2) 尝试给mpiexec指定一个hostfile时可能不对使用 Torque（尽管它源自 Torque 主机文件 ${PBS_NODEFILE}）。也许我的派生主机文件被忽略了。

有没有办法让它工作？我试过重新编译 OpenMPI 没有 Torque 支持，希望能阻止 OpenMPI 交互有了它，但它并没有改变错误信息。

Answer 1

回答我自己的问题：在 qsub 命令中添加参数 -l nodes=1:ppn=2 在节点上保留 2 个处理器，即使 mpiexec 只启动一个过程。 MPI_Comm_spawn() 然后可以在第二个保留槽上生成新进程。

我还不得不在没有 Torque 支持的情况下编译 OpenMPI，因为包含它会导致我的主机文件参数被忽略并使用 Torque 生成的主机文件。

MPI_Comm_spawn 失败 "All nodes which are allocated for this job are already filled"

MPI_Comm_spawn fails with "All nodes which are allocated for this job are already filled"

c++

openmpi

qsub

pbs

torque