提高h5py的阅读速度
Increasing reading speed for h5py
python 的 h5py 包有一个小问题。我正在处理存储在 hdf5 文件中的非常大的数据集（约 250k 小图像片段），其尺寸为 (num_images x color_channels x width x height)
此数据集被随机分为训练数据和验证数据。因此，我需要在训练分类器时读出这些数据的随机元素。
对我来说，我有一个奇怪的发现，即加载整个数据集（所有 250k 图像）比读取该数据的特定子集快得多。具体来说，读取整个数组为：
data = h5py.File("filename.h5", "r")["images"][:]
比我只读出这些图像（25k 图像）的随机、非连续子集快大约 5 倍：
indices = [3, 23, 31, 105, 106, 674, ...]
data = h5py.File("filename.h5", "r")["images"][indices, :, :, :]
这是设计使然吗？是因为压缩了hdf5文件吗？
http://docs.h5py.org/en/latest/high/dataset.html#fancy-indexing
A subset of the NumPy fancy-indexing syntax is supported. Use this with caution, as the underlying HDF5 mechanisms may have different performance than you expect.
Very long lists (> 1000 elements) may produce poor performance
高级索引需要在这里读取一个数据块，然后跳过一段距离再读取另一个，依此类推。如果该数据全部在内存中，如在 ndarray 数据缓冲区中，则可以相对较快地完成，尽管比在一个连续块中读取相同数量的字节要慢。当该数据在文件中时，您必须包括文件查找和块读取。
此外，如果您使用分块和压缩：
Chunking has performance implications. It’s recommended to keep the total size of your chunks between 10 KiB and 1 MiB, larger for larger datasets. Also keep in mind that when any element in a chunk is accessed, the entire chunk is read from disk.
我想知道将图像保存为单独的数据集是否会提高性能。然后您将按名称而不是第一维索引检索它们。您必须将它们加入 4d 数组，但我怀疑 h5py 无论如何都必须这样做（它将单独读取它们）。
python 的 h5py 包有一个小问题。我正在处理存储在 hdf5 文件中的非常大的数据集（约 250k 小图像片段），其尺寸为 (num_images x color_channels x width x height)
此数据集被随机分为训练数据和验证数据。因此，我需要在训练分类器时读出这些数据的随机元素。
对我来说，我有一个奇怪的发现，即加载整个数据集（所有 250k 图像）比读取该数据的特定子集快得多。具体来说，读取整个数组为：
data = h5py.File("filename.h5", "r")["images"][:]
比我只读出这些图像（25k 图像）的随机、非连续子集快大约 5 倍：
indices = [3, 23, 31, 105, 106, 674, ...]
data = h5py.File("filename.h5", "r")["images"][indices, :, :, :]
这是设计使然吗？是因为压缩了hdf5文件吗？
http://docs.h5py.org/en/latest/high/dataset.html#fancy-indexing
A subset of the NumPy fancy-indexing syntax is supported. Use this with caution, as the underlying HDF5 mechanisms may have different performance than you expect.
Very long lists (> 1000 elements) may produce poor performance
高级索引需要在这里读取一个数据块，然后跳过一段距离再读取另一个，依此类推。如果该数据全部在内存中，如在 ndarray 数据缓冲区中，则可以相对较快地完成，尽管比在一个连续块中读取相同数量的字节要慢。当该数据在文件中时，您必须包括文件查找和块读取。
此外，如果您使用分块和压缩：
Chunking has performance implications. It’s recommended to keep the total size of your chunks between 10 KiB and 1 MiB, larger for larger datasets. Also keep in mind that when any element in a chunk is accessed, the entire chunk is read from disk.
我想知道将图像保存为单独的数据集是否会提高性能。然后您将按名称而不是第一维索引检索它们。您必须将它们加入 4d 数组，但我怀疑 h5py 无论如何都必须这样做（它将单独读取它们）。