MPI 和标准输入开销？

Question

我正在用 C++ MPI 编写程序，但是当将大文件作为 stdin 传递时，我遇到的问题是线程没有看到相同的 stdin 信息。

更详细地说，我将输入文件列表作为标准输入传递，然后将其存储在 vector<string>:

MPI_Init(NULL,NULL);
int CORES, thread;
MPI_Comm_size(MPI_COMM_WORLD,&CORES);
MPI_Comm_rank(MPI_COMM_WORLD,&thread);
stringstream tline;
int count = 0;
for (std::string line; std::getline(std::cin, line);){
    tline << line << " ";
    count++;
    }

vector<string> args(count,"");
for(int i = 0; i < count; i++)
    tline >> args[i];

cout << thread << " " << count << endl; //each thread outputs the number of input files it received

我的问题是这为不同的线程提供了不同的数字。例如，在传递一个 10 000 行的文件后，我得到：

是不是因为一些开销？我怎样才能避免这种情况？

Answer 1

好的，基本上你的问题是你所有的线程都在消耗来自 cin 的行并且它们在竞争。尽管 cin 通常为线程安全提供了一些保证，但您并不总是确定会得到什么。检查此线程：How do scanf(), std::cin behave on multithreaded environment?

解决方法：不用CIN？使用文件并让每个线程使用文件句柄自行打开文件。如果你真的想使用 cin 然后让 MPI 的一个线程读取 CIN 并将它广播到其他线程然后他们可以随心所欲地使用它.

MPI 和标准输入开销？

MPI and stdin overheading?

c++

mpi

overhead