写入 /dev/null 时记录结束

Question

在升级集群后，我在数值软件中遇到了一个奇怪的错误。即：

At line 501 of file /home/weser/code/neci/src/fcimc_helper.F90 (unit = 6, file = '/dev/null')
Fortran runtime error: End of record

在这一行中有一个 print *, 打印到标准输出的语句。

在我们的程序中，所有非根 MPI 进程的 STDOUT 都关闭并重新打开以写入 /dev/null。（除调试模式外，每个非根 MPI 进程的 STDOUT 都被重定向到一个单独的文件。）

我尝试为这个问题创建一个最小示例，如下所示：

  program stdout_to_dev_null
      use iso_fortran_env, only: stdout => output_unit
      use mpi_f08  ! also works with plain mpi
      implicit none(type, external)
  
      integer :: rank, n_procs, ierror
      integer, parameter :: root = 0 
  
      call MPI_INIT(ierror)
      call MPI_COMM_SIZE(MPI_COMM_WORLD, n_procs, ierror)
      call MPI_COMM_RANK(MPI_COMM_WORLD, rank, ierror)
  
      if (rank /= root) then
          close(stdout, status="keep")
          open(stdout, file="/dev/null", recl=8192)
      end if
  
      write(stdout, *) 'Size is ', n_procs
      write(stdout, *) 'node', rank, ': Hello world'
  
      block
          integer :: i
          character(:), allocatable :: large_string
          allocate(character(len=5000) :: large_string)
  
          do i = 1, len(large_string)
              large_string(i : i) = 'A' 
          end do
  
          write(stdout, *) large_string
      end block
  
  
      call MPI_FINALIZE(ierror)
  
  end program

问题是这个最小的例子完全按预期工作，当运行手动使用 mpirun 时，但也像其他繁重的计算一样实际发送到集群时。

现在我有三个问题：在关闭和重新打开 STDOUT 时，我在此类代码中是否有未定义的行为，我在最小示例中只是幸运？ /dev/null 中怎么会有记录结束？我该如何正确解决这个问题？

Answer 1

问题与MPI无关，也与集群差异无关。¹ 这是有问题的代码，在 gfortran 下失败，但在 ifort 下运行完全靠运气。

如果文件以固定记录长度 (recl=...) 打开，写入语句不得超过此长度，即使输出转到 /dev/null。修复只是不以固定记录长度打开并省略 recl=... 参数。

显然，ifort 的运行时库更加宽松，即使写入对象的字节长度大于 open 语句中指定的记录长度也能正常工作。

在以下示例中，最后一个 write 语句在 gfortran 下失败。

program stdout_to_dev_null
    use iso_fortran_env, only: stdout => output_unit
    implicit none(type, external)

    integer, parameter :: rec_length = 10

    write(stdout, *) 'asdf'

    close(stdout, status="keep")

    open(stdout, file="/dev/null")
    block
        integer :: i
        character(:), allocatable :: large_string

        allocate(character(len=rec_length - 1) :: large_string)

        do i = 1, len(large_string)
            large_string(i : i) = 'A'
        end do

        write(stdout, *) large_string

        deallocate(large_string)
        allocate(character(len=rec_length + 1) :: large_string)

        do i = 1, len(large_string)
            large_string(i : i) = 'A'
        end do

        write(stdout, *) large_string
    end block
    close(stdout, status="keep")

    open(stdout, file="/dev/null", recl=rec_length)
    block
        integer :: i
        character(:), allocatable :: large_string

        allocate(character(len=rec_length - 1) :: large_string)

        do i = 1, len(large_string)
            large_string(i : i) = 'A'
        end do

        write(stdout, *) large_string

        deallocate(large_string)
        allocate(character(len=rec_length + 1) :: large_string)

        do i = 1, len(large_string)
            large_string(i : i) = 'A'
        end do

        ! The following statement fails
        write(stdout, *) large_string
    end block
    close(stdout, status="keep")

end program

¹ 对于这个问题，新旧集群之间的相关区别是我们在新集群上使用 gfortran + OpenMPI，在旧集群上使用 ifort + IntelMPI。

写入 /dev/null 时记录结束

End of record when writing to /dev/null

fortran

gfortran

openmpi

dev-null