python 中的 xarray 是否有文件大小限制？
Is there a file size limit to xarray in python?
我想用xarray打开一个netCDF4数据集。
我有两个例子。时间序列中超过 300 万个点的大文件 (3.2GB)。时间序列中包含 9999 个点的小文件 (9.8 MB)。
此代码将打开小文件。
ds = xr.open_dataset(smallfile, chunks={'rec': 3600}, decode_times=False)
如果我使用大文件，会出现未知错误。该行为在安装了 miniconda 的两台不同 windows 机器上是一致的。
这是怎么回事？我还应该检查什么？
提前致谢。
xarray 和 netCDF4-Python 都没有文件大小限制。它们已成功用于 10-100GB 范围内的文件。
您的问题看起来与此 netCDF4-Python 问题中报告的问题相似 Windows with Python 3: https://github.com/Unidata/netcdf4-python/issues/535
更广泛地说，您可能 运行 进入 limitations of the netCDF file format 本身。 xarray 通过 netCDF4-Python 和 h5netcdf 支持的版本 4 基于 HDF5，没有文件大小限制。 xarray 通过 netCDF4-Python 和 scipy 支持的版本 3 具有 2GB 的文件大小限制，除非使用“64 位偏移”版本（即便如此，每个变量的限制仍然小于 4GB） .
我想用xarray打开一个netCDF4数据集。
我有两个例子。时间序列中超过 300 万个点的大文件 (3.2GB)。时间序列中包含 9999 个点的小文件 (9.8 MB)。 此代码将打开小文件。
ds = xr.open_dataset(smallfile, chunks={'rec': 3600}, decode_times=False)
如果我使用大文件，会出现未知错误。该行为在安装了 miniconda 的两台不同 windows 机器上是一致的。
这是怎么回事？我还应该检查什么？
提前致谢。
xarray 和 netCDF4-Python 都没有文件大小限制。它们已成功用于 10-100GB 范围内的文件。
您的问题看起来与此 netCDF4-Python 问题中报告的问题相似 Windows with Python 3: https://github.com/Unidata/netcdf4-python/issues/535
更广泛地说，您可能 运行 进入 limitations of the netCDF file format 本身。 xarray 通过 netCDF4-Python 和 h5netcdf 支持的版本 4 基于 HDF5，没有文件大小限制。 xarray 通过 netCDF4-Python 和 scipy 支持的版本 3 具有 2GB 的文件大小限制，除非使用“64 位偏移”版本（即便如此，每个变量的限制仍然小于 4GB） .