具有灵活大小的结构的 MPI 派生数据类型

Question

我正在尝试在 C++ 中 send/recv 一个如下所示的数据结构：

/* PSEUDOCODE */
const int N = getN(); // not available at compile time
const int M = getM();
struct package{
    int    foo;
    double bar;
    /* I know array members do not work this way,
       this is pseudocode. */
    int    flop[N];
    double blep[M];
};

因为 M 和 N 在运行时是不变的，我可以做 MPI_Type_create_struct() 并且新的数据类型会很好。

我的问题是如何实现上面描述的数据结构。

std::vector<> 不会工作，因为它不是连续的。

像[]或[0]这样的灵活数组成员在c++中是未定义的行为，它对M和N中的两个不起作用。

所以我必须使用 malloc() :

class Package {
public:
  // in buffer[]: bar, blep[], foo, flop[]
  // in that order and one directly follows another.
  Package():
    buffer((double*) malloc((M + 1) * sizeof(double) + 
                            (N + 1) * sizeof(int))),
    bar(buffer), blep(buffer + 1),
    foo((int*) (blep + M)),
    flop(foo + 1) {}
  ~Package(){
    free(buffer);
  }

  // construct / free the derived datatype
  static void initialize(unsigned inN, unsigned inM) {
    N = inN;
    M = inM;
    MPI_Aint offsets[2] = {0, (int)(sizeof(double)) * (M + 1)};
    int      blocks[2]  = {M + 1, N + 1};
    MPI_Datatype types[2] = {MPI_DOUBLE, MPI_INT};
    MPI_Type_create_struct(2, blocks, offsets, types, &packageType);
    MPI_Type_commit(&packageType);
  }
  static void finalize() {
    MPI_Type_free(&packageType);
  }

  int send(int rank, int tag) {
    return MPI_Send(buffer, 1, packageType, 
                    rank, tag, MPI_COMM_WORLD);
  }
  int recv(int rank, int tag) {
    return MPI_Recv(buffer, 1, packageType, 
                    rank, tag, MPI_COMM_WORLD, 
                    MPI_STATUS_IGNORE);
  }
private:
  double * buffer;

  static int M;
  static int N;
  static MPI_Datatype packageType;
public:
  // interface variables
  double * const bar;
  double * const blep;
  int    * const foo;
  int    * const flop;
};

int Package::N = 0;
int Package::M = 0;
MPI_Datatype Package::packageType = MPI_CHAR;

我测试了上面的代码，它似乎工作正常，但我不确定我是否在做一些实际上未定义的行为。具体来说：

可以用sizeof()代替MPI_Type_create_struct()吗？我发现一些例子使用 MPI_Type_get_extent()，我不知道有什么区别。
我不确定将新数据类型存储在 static 成员中是否是个好主意。相反，我发现的示例将其作为参数传递。这样做有什么具体原因吗？
我也很疑惑这种方法是否可以移植。我希望它应该像基于 struct 的方法一样可移植，但也许我遗漏了什么？

Answer 1

I am also confused if this method is portable. I hope that it should be as portable as struct based methods, but perhaps I am missing something?

1。假设你有一些类型 A 和 B 而不是 double 和 int。然后可能会发生 B 类型的对象，您在 A 之后立即为其分配 space 的对象未对齐。在某些试图访问此类对象的体系结构上（例如，int 在 (4N + 2) 字节边界）将导致 总线错误 。所以在一般情况下，您必须确保在第一个 B 对象之前正确填充。当您使用 struct 时，编译器会为您完成。

2。您访问 buffer 的方式是 UB。本质上你是这样做的：

double* buffer = reinterpret_cast<double*>(malloc(...)); double* bar = buffer; int* foo = reinterpret_cast<int*>(buffer + 1); do_something(buffer); double bar_value = *bar; // This is UB int foo_value = *foo; // This is UB, too

这里的问题是 *bar 和 *foo 没有 double 和 int 类型的对象。您可以使用放置 new:
创建它们
char* buffer = reinterpret_cast<char*>(malloc(...)); double* bar = new(buffer) double; int* foo = new(buffer + sizeof(double)) int;

请参考。

对于数组，您可以使用 std::uninitialized_default_construct 构造给定范围内的对象。

I am not sure if it is a good idea to store the new datatype in a static member. The examples I found instead have it passed around as an argument. Is there any specific reason to do that?

如果 N 和 M 是静态的，那么让 packageType 也是静态的似乎没问题。如果你只有一种类型的 Package 固定 N 和 M，你可能希望避免在每次构造 Package 时调用 MPI_Type_create_struct 来创建本质上是相同的 MPI 数据类型。

但是这个设计看起来不太好：应该在第一次构造之前调用 initialize()。也许你可以创建一个工厂，它首先创建 MPI 数据类型，然后根据用户请求使用类似 Package make_package() 的东西构造 Package。然后每个工厂可以有自己的 non-static N 和 M.

具有灵活大小的结构的 MPI 派生数据类型

MPI Derived data type for a struct with flexible size

c++

mpi

memory-alignment