迭代磁盘上的数组类似于 ImageDataGenerator

Iterating over arrays on disk similar to ImageDataGenerator

我有 70'000 个 2D numpy 数组，我想在这些数组上使用 Keras 训练 CNN 网络。将它们保存在内存中是一种选择，但会消耗大量内存。因此，我想将矩阵保存在磁盘上并在运行时加载它们。一种选择是使用 ImageDataGenerator。问题是它只能读取图像。

我不想将数组存储为图像，因为当我将它们保存为（灰度）图像时，数组的值会发生变化（标准化等）。但最后我想将原始矩阵输入网络，而不是因为保存为图像而改变值。

是否有可能以某种方式将数组存储在磁盘上并以与 ImageDataGenerator 类似的方式迭代它们？

或者我可以在不改变数组值的情况下将数组保存为图像吗？

您可以定义自己的自定义数据生成器 class，而不是使用 ImageDataGenerator，方法是覆盖 class 的一些简单方法。

您可以关注此媒体 post 以获取更多相关信息。