使用 Caffe 训练数据集时多次加载 HDF5 文件

Question

我正在使用 hdf5 文件训练数据集，日志显示 hdf5 文件已加载 3 次。我想知道这是为什么？

为了训练，我正在使用 4 GPUs

0830 10:51:06.050088 24335 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt
I0830 10:51:06.055855 24336 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt
I0830 10:51:06.066175 24335 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259
I0830 10:51:06.071753 24336 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259
I0830 10:51:06.878861 24337 hdf5_data_layer.cpp:79] Loading list of HDF5 filenames from: /train_h5_list.txt
I0830 10:51:06.900501 24337 hdf5_data_layer.cpp:93] Number of HDF5 files: 8259

Answer 1

据我所知，如果您使用多个 GPUs，每个 GPU 会多次加载 hdf5 文件！这可能会导致问题，我不建议在使用 hdf5 文件

进行训练时使用多个 GPUs

使用 Caffe 训练数据集时多次加载 HDF5 文件

HDF5 file is loaded multiple times when training dataset using Caffe

hdf5

deep-learning

caffe