如何处理python中的大数组?
How to deal with large arrays in python?
我有非常大的阵列需要存储在磁盘上。我怎样才能做到这一点?
我尝试使用 h5py,我阅读了文档并发现它的问题是它的第二维最大数量为 1024。我如何处理尺寸为 10^5 x 10^5 的数组?
假设您阅读 this part of the documentation。
这并不是说第二个维度的最大尺寸 general 为 1024。这只是使用可调整大小数据集的示例。
HDF5(和 h5py)的每轴限制为 2^64 个元素,可以在 resizable datasets.
上的文档中阅读
我有非常大的阵列需要存储在磁盘上。我怎样才能做到这一点? 我尝试使用 h5py,我阅读了文档并发现它的问题是它的第二维最大数量为 1024。我如何处理尺寸为 10^5 x 10^5 的数组?
假设您阅读 this part of the documentation。 这并不是说第二个维度的最大尺寸 general 为 1024。这只是使用可调整大小数据集的示例。
HDF5(和 h5py)的每轴限制为 2^64 个元素,可以在 resizable datasets.
上的文档中阅读