HDF5 输入数据集在 NVIDIA DIGITS 中的使用

Question

我刚开始使用 NVIDIA DIGITS。我的火车数据集具有以下结构，其格式为 .hdf5 .

crops       Dataset {27482, 3, 128, 192}
labels      Dataset {27482, 12}
mean        Dataset {3, 128, 192}
pids        Dataset {27482}

我知道如何使用 .txt 或 .jpg 等更简单的格式为模型提供数据。我的问题是如何在 NVIDIA DIGITS

中为我的模型提供 .hdf5 格式

Answer 1

HDF5 数据集仅用于 DIGITS 中的图像分类数据集，即便如此，支持也不是很全面。

为什么？

Caffe 对 HDF5 的支持几乎不如对 LMDB 的支持：

• 对于大型数据集，您必须将它们分解成单独的文件 (see here)
• 数据未预取 - 整个数据集一次读入内存 (see here)
• HDF5Data 层不支持数据转换 (see here)

由于 DIGITS 目前主要基于 Caffe，因此我们的主要数据集格式是 LMDB。 If/when 我们支持更多后端框架，我们可能会决定对更通用的格式（如 HDF5 或 zipfiles）进行标准化。