在Matlab中将大于内存的数据写入HDF5文件

Question

我想将 Matlab 中的大型数据集矩阵 120964x50176 (H5T_IEEE_F32LE) 保存为 HDF5 文件。我无法立即将数据集加载到内存中。我将它分成多个文件，大小分别为 108x50176、141x50176、148x50176。我想将它保存在大小为 120964x50176 的 HDF5 文件中的同一数据集中。

关于这方面的文档似乎不多。我正在编写一些代码，但由于块不相等，这似乎不是正确的方向。如何成串写入此数据集？

dims = [120964 50176];
chunk_size = min([100 50176], dims);

fileID = H5F.create('test_features.h5');
dsetname = 'features';
datatypeID = H5T.copy('H5T_IEEE_F32LE');
dataspaceID = H5S.create_simple(2,fliplr(dims),fliplr(dims));
plistID = H5P.create('H5P_DATASET_CREATE');

H5P.set_chunk(plistID, fliplr(chunk_size));
datasetID = H5D.create(fileID, dsetname, datatypeID, dataspaceID, plistID);

rows_seen = 0;
for i=1:size(testset,1)
    filename = strcat('/datasets/',sprintf('%.6d',imdb.testset(i)),'.mat');
    load(filename);
    H5D.write(datasetID,'H5ML_DEFAULT','H5S_ALL','H5S_ALL','H5P_DEFAULT',feat);
    clear('feat');
    rows_seen = rows_seen + frames(i);
end
H5D.close(datasetID);
H5F.close(fileID);

Answer 1

Matfiles v7.3 是 gzip 压缩的 HDF5 文件。您可以使用 h5py 和任何其他编译了 gzip 支持的库来加载它们。

matfile 的优点在于使用简单：

%open
m = matfile(filename,'Writable',1)
%insert some data
m.yourbigmatrix(1:200,1:300)=one_data_block
%get data
one_data_block=m.yourbigmatrix(1:123,1:300)

在Matlab中将大于内存的数据写入HDF5文件

Write data larger than memory to HDF5 file in Matlab

matlab

hdf5