将使用 C++ 和 Open MPI 生成的处理器等级发送到 Python 脚本

Question

我是初学者 C++ 和 MPI 用户。我在 HPC 环境中工作，需要执行以下操作：

使用 C++ 代码获取处理器等级。
将排名传递给 bash 脚本。
将此排名值和运行馈送到 python 脚本（来自 bash 脚本）。

这是我写的代码： C++（文件名- cpp2bash_test.cpp）：

#include <iostream>
#include <mpi.h>
int main(int argc, char** argv)
{
  MPI_Init(&argc, &argv);
  int size, rank;
  MPI_Status   status;
  MPI_Comm_size(MPI_COMM_WORLD, &size);
  MPI_Comm_rank(MPI_COMM_WORLD, &rank);
  cout << rank << endl;
  MPI_Finalize();
  return 0;
}

我将文件编译为：

mpicxx -g -std=c++14 -o PRank cpp2bash_test.cpp

Bash:

#!/bin/sh

result=$(./PRank)
python3 bash2py_test.py $result

最后，我将 bash 脚本作为 PBS 作业提交。这是输出文件：

行“Argument accepted=”来自 python 脚本，它只接受排名并打印它。为了更好地理解为什么 python 脚本会得到一个奇怪的值，我将 shell 脚本更改为不接受来自 C++ 代码的任何输入。相反，C++ 代码只是打印其输出。这是我在输出文件中看到的部分屏幕截图：

Python 文件输出（未显示在第二张图片中）仍然与之前显示的类似。

我在谷歌上搜索了那个警告，但我并没有真正理解我所阅读的大部分内容。事实上，我什至不知道我正在阅读的内容是否与我的问题相关。我怀疑 C++ 代码的完整输出包含警告，当传递给 Python 时，t运行只被方括号内的那些奇怪的值。如何删除这些警告并将正确的值传递给 python 脚本？

Answer 1

请注意，对于大多数队列系统，设置了指示进程等级的系统变量。一旦进入您的脚本（以 MPI 开头），您应该能够从环境中获取它（您必须查看您的队列系统手册）。

另一种方法是为信息生成一些包装日志和 grep，例如：

cout << "RANK:" << rank << endl;

然后，你可以这样做：

result=$(echo "RANK:2" | grep RANK | cut -f2 -d':')
echo $result

在你的情况下它将是

result=$(./PRank | grep RANK | cut -f2 -d':')
echo $result

将使用 C++ 和 Open MPI 生成的处理器等级发送到 Python 脚本

Sending processor rank generated using C++ and Open MPI to Python script

python

c++

bash

mpi

suppress-warnings