Writing/reading 使用 1 个进程的 HDF5 和 MPI 大文件，来自 Python

Writing/reading large files with HDF5 and MPI using 1 process, from Python

当通过 h5py 和 mpi4py 使用并行 HDF5 将大型数据集写入文件时（当直接从 C 中使用 HDF5 和 MPI 时也很有可能），如果在单个进程中使用 mpio 驱动程序，我会收到以下错误：

OSError: Can't prepare for writing data (Can't convert from size to size_i)

似乎允许的数据集的限制是 4GB，至少当内容是双数组时。如果使用更多进程来分担工作负载，或者如果在没有 mpio 驱动程序的情况下在单个 CPU 上完成，则更大的数据集可以正常工作。

这是为什么？ size 和 size_i 是指针类型，前者不能保存大于 4GB double[] 对应的地址吗？这个错误最终对我来说可能不会是一个严重的问题，因为我通常会使用超过 1 个进程，但我希望我的代码即使只使用一个进程也能工作。

我最近遇到了同样的问题，经过深入挖掘，我得出了这样的结论：

您将在何处看到引发的错误。简单地说，当数组的大小（以字节为单位）大于 2GB 时，就会出现错误。

描述问题和解决方法的地方。

请看