读取多个数据文件时出现内存错误问题

Question

我需要读取不止一个波形（大约62个种子文件） 他们每个人都有数组长度 17280000 并且在追加所有文件然后将它们一个一个地连接起来。最后，重塑最终数组。

我使用的是8核32内存的机器。拜托，我想修复这张图片上所附的内存错误消息。 最好的问候

Answer 1

您的计算机内存不足，无法加载该数组，它太大了。

这样想，int32 在 Python 中占用 24 个字节，而您要求将 4517769183 加载到内存中，这比 144GB 多一点。

您可以使用 NumPy 的 memmap 功能将该文件存储在磁盘上而不是内存中，但请记住生成文件的大小！

您还可以查看 xarray or theano 这两个库都是为像这样一点一点地处理数组而设计的；只是将它们逐个加载到内存中。

或者您可以手动分段读取数据并在丢弃它并加载下一个之前对每个分段进行训练。