在分布式文件系统上并行导出 ASCII 文件

Question

我需要在分布式文件系统上导出 ASCII 文件。目前，我在每个节点上以追加模式将文件流打开到同一文件。然后我逐个节点依次导出所有数据。此解决方案能否在分布式文件系统上正常工作或是否有必要使用 MPI-I/O？ 看来我不太明白并行文件系统的概念。

P.S。该文件必须是ASCII。

Answer 1

使用MPI-I/O，您不能在文件末尾并行追加数据。您可以将数据并行写入文件的特定位置（每个 MPI 进程写入不同的位置），因此您需要知道每个进程的偏移量。这对于 ASCII 文件可能不可行。

另一种选择是由每个 MPI 进程（并行）编写一个单独的文件，然后将这些文件合并到并行程序范围之外的单个文件中。