在 Python 中是否有任何并行访问 Netcdf 文件的方法

Is there any parallel way of accessing Netcdf files in Python

Python 中的 Netcdf 文件是否有任何并行 IO 的方法?

我知道有一个名为 PyPNetCDF 的项目,但显然它很旧,没有更新,而且似乎根本不起作用。有没有人在 Python 中使用 NetCDF 进行并行 IO 取得任何成功?

非常感谢任何帮助

我还没有从两个 python NetCDF 模块中的任何一个中看到很好的示例,请参阅 https://github.com/Unidata/netcdf4-python/issues/345 但是,如果你只需要读取文件,而且它们是 NetCDF4 格式,你应该可以直接使用 HDF5 -- http://docs.h5py.org/en/latest/mpi.html 因为 NetCDF4 基本上是具有受限数据模型的 HDF5。可能不适用于 NetCDF3。

可惜PyPnetcdf一点也不成熟。我看到了硬编码路径和废弃的域名。编译一些东西看起来并不需要很多时间,但接下来就是让它实际工作的问题......

  • 在 setup.py 中,您应该更改 library_dirs_list 和 include_dirs_list 以指向系统上安装了 Northwestern/Argonne Parallel-NetCDF 的位置以及 MPI 发行版的安装位置。

  • 然后将不得不通过并更新 pypnetcdf 调用 pnetcdf 的方式。几年前(实际上是相当多)我们将许多类型提升为更大的版本。