向从属 MPI 发送数据时程序卡住

Question

我正在用 c 语言开发一个应用程序，用户希望在其中找到二维数组中特定的 2 位数字模式。

例如，有一个 10x10 的数组，其中包含随机的单个数字，用户想要找到 1,0。我们的程序将搜索 1，找到后，我们的程序将在所有方向（顶部、底部、侧面、对角线和反对角线）搜索 0 到深度 1。简单地说，我们可以说它将在大小为 3x3 的子矩阵中搜索 1 边上的零。函数 search_number() 正在执行搜索第二个数字的作业。

我已经为它实现了顺序代码，我正在尝试将它转换成 MPI。

我是 MPI 的超级菜鸟，第一次练习。

这是我对 MPI 的尝试。

#include <mpi.h>
#include <stdio.h>
#include <stdlib.h>
#include <time.h>

#define N   255
#define BS  N/2

MPI_Status status;
int search_number(int arr[N][N],int row,int col,int digit_2){
    int count=0;
    for (int i=row-1;i<=row+1;i++){     //from -row to +row = 3 indexes for rows
        for(int j=col-1;j<=col+1;j++){  //from -col to +col = 3 indexes for cols
            // skip for [row,col] and -1 for both [i,j] as well as till maximum size
            if(i<0 || j<0 || i>=N || j>=N || i==row && j==col) continue;
            if(arr[i][j] == digit_2){ //if second number is found, increase the counter
                count++;
            }
        }
    }
    return count;
}

int main(int argc, char **argv)
{
    int nproc,taskId,source,i,j,k,positionX,positionY;
    int sum=0;
    MPI_Datatype type;
    int a[N][N];

    MPI_Init(&argc, &argv);
    MPI_Comm_rank(MPI_COMM_WORLD, &taskId);
    MPI_Comm_size(MPI_COMM_WORLD, &nproc);

    MPI_Type_vector(N, BS, N, MPI_INT, &type);
    MPI_Type_commit(&type);

    //root
    if (taskId == 0) {
        srand( time(NULL) );
        //Generate two NxN matrix
        for (i=0; i<N; i++) {
            for (j=0; j<N; j++) {
                a[i][j]= rand()%10;
            }
        }

        printf("Passing 1st chunk:\n");
        // first chunk
        MPI_Send(&a[0][0], BS*N, MPI_INT,0,0, MPI_COMM_WORLD);
        MPI_Send(&a[0][0], BS*N, MPI_INT,1,1, MPI_COMM_WORLD);
        printf("Passing 2nd Chunk:\n");
        //second chunk
        MPI_Send(&a[BS][0], BS*N, MPI_INT,2,2, MPI_COMM_WORLD);
        MPI_Send(&a[BS][0], BS*N, MPI_INT,3,3, MPI_COMM_WORLD);
    }

    //workers
    source = 0;
    MPI_Recv(&a, N*N, MPI_INT, source, taskId, MPI_COMM_WORLD, &status);

    for(int i=0;i<N;i++){
        for(int j=0;j<N;j++){
            if (a[i][j]==1) { // if found 1, pass its index i,j to search_number() function
                sum+= search_number(a,i,j,0);  // funtion will return the count of 0's shared with 1
            }
        }
    }
    //Send result to root
    MPI_Send(&sum, BS, MPI_INT, 0, 4, MPI_COMM_WORLD);

    //root receives results
    if(taskId == 0)
    {
        printf("Count: %d\n",sum);
        // printMatrix(resultFinal);
    }

    MPI_Finalize();
}

我面临的问题是，如果我在顶部传递 set N>255，我的程序会卡在 Passing Chunk 1 行。但一直有效到 0 to 255。你能指出我的错误吗？

Answer 1

The issue I'm facing is my program gets stuck at Passing Chunk 1 line if I pass set N>255 on top. But works until 0 to 255.

作为@Gilles Gouaillardet already pointed out in the comments, and more detailed on this answer:

MPI_Send() is allowed to block until a matching receive is posted (and that generally happens when the message is "large") ... and the required matching receive never gets posted.

A typical fix would be to issue a MPI_Irecv(...,src = 0,...) on rank 0 before the MPI_Send() (and MPI_Wait() after), or to handle 0 -> 0 communication with MPI_Sendrecv().

此外，您的并行化似乎是错误的，即：

MPI_Send(&a[0][0], BS*N, MPI_INT,0,0, MPI_COMM_WORLD);
MPI_Send(&a[0][0], BS*N, MPI_INT,1,1, MPI_COMM_WORLD);

您向进程 0 和 1 发送了相同的工作负载，并且：

MPI_Send(&a[BS][0], BS*N, MPI_INT,2,2, MPI_COMM_WORLD);
MPI_Send(&a[BS][0], BS*N, MPI_INT,3,3, MPI_COMM_WORLD);

与流程 2 和 3 相同的问题。

您应该尝试使用 类似模板 的方法，其中每个进程仅共享它们之间的边界。例如，对于 4x4 矩阵和 4 个进程，可能的分布可能是：

process 0 适用于第 0、1 和 2 行；
process 1 适用于第 2、3 和 4 行；
process 2 适用于第 4、5、6 行；
process 3 适用于第 7、8、9 行；

目前，您向每个进程发送 BS*N 个元素，但是在：

MPI_Recv(&a, N*N, MPI_INT, source, taskId, MPI_COMM_WORLD, &status);

您指定您希望收到 N*N。

另外在：

   for(int i=0;i<N;i++){
        for(int j=0;j<N;j++){
            if (a[i][j]==1) { // if found 1, pass its index i,j to search_number() function
                sum+= search_number(a,i,j,0);  // funtion will return the count of 0's shared with 1
            }
        }
    }

进程正在处理它们未收到的矩阵 a 的位置，自然不应该是这种情况。

终于代替了

//Send result to root
MPI_Send(&sum, BS, MPI_INT, 0, 4, MPI_COMM_WORLD);

你实际上应该使用 MPI_Reduce 即

Reduces values on all processes to a single value

向从属 MPI 发送数据时程序卡住

Program Stuck while sending data to slaves MPI

c

performance

parallel-processing

mpi

openmpi