使用 h5py 保存混合结构化数据

Question

我有一个包含 100,000 个条目的数据集，每个条目的形式为：

{
attr1 float[300]
attr2 float[300]
attr3 float[300]
attr4 float
attr5 float
attr6 float
}

将其存储在 .hdf5 文件中的最有效方法是什么？

Answer 1

没有您的数据（和数据结构）或代码示例，很难提供特定于您的问题的示例。我创建了一个显示基本操作的 PyTables 示例。定义 table 结构和输入数据的方法有很多种。我喜欢创建一个 np.dtype 并用 description= 引用。在此示例中，我使用一个包含一个元组的列表逐行创建和添加数据。但是，如果您拥有所有数据，则可以创建一个 NumPy 结构化数组并使用 obj= 参数进行引用。这将创建数组并一次性填充所有内容

这是具有 100 行和大小为 10 个元素的 attr1/2/3 数组的 PyTables 示例。它显示了逻辑。您可以修改以增加行数和数组元素数。

这里解释了所有 PyTables table 方法：
PyTables table methods

import tables as tb
import numpy as np

attr1  = np.arange(10.)
attr2  = 2.0*np.arange(10.)
attr3  = 3.0*np.arange(10.)
attr4  = 4.0
attr5  = 5.0
attr6  = 6.0

ds_dt = np.dtype({'names':['attr1', 'attr2', 'attr3',
                           'attr4', 'attr5', 'attr6'],
                  'formats':[(float,10), (float,10), (float,10),
                              float, float, float ] }) 

with tb.File('SO_58674120_tb.h5','w') as h5f:

     tb1 = h5f.create_table('/','my_ds', description=ds_dt)
     for rcnt in range(1,100):
         data_list = [ (rcnt*attr1, rcnt*attr2, rcnt*attr3,
                        rcnt*attr4, rcnt*attr5, rcnt*attr6), ]
         tb1.append(data_list)

您可以对 h5py 执行相同的操作。过程类似，但也有区别。例如，您必须使用 shape= 来调整数据集的大小，如果您希望将来扩展数据集，则添加 maxshape=。另外，我只知道如何通过引用 numpy 数组（而不是像 PyTables 这样的列表）来添加数据。所以我创建了 recarr 来保存中间数据。同样，如果您拥有所有数据，则不必逐行加载。

查看下面的代码：

import h5py
import numpy as np

attr1  = np.arange(10.)
attr2  = 2.0*np.arange(10.)
attr3  = 3.0*np.arange(10.)
attr4  = 4.0
attr5  = 5.0
attr6  = 6.0

ds_dt = np.dtype({'names':['attr1', 'attr2', 'attr3',
                           'attr4', 'attr5', 'attr6'],
                  'formats':[(float,10), (float,10), (float,10),
                              float, float, float ] }) 
recarr = np.empty((1,), dtype=ds_dt)

with h5py.File('SO_58674120_h5.h5','w') as h5f:

     h5f.create_dataset('my_ds', dtype=ds_dt, shape=(100,), maxshape=(None) )
     for rcnt in range(1,100):
         recarr['attr1']= rcnt*attr1
         recarr['attr2']= rcnt*attr2
         recarr['attr3']= rcnt*attr3
         recarr['attr4']= rcnt*attr4
         recarr['attr5']= rcnt*attr5
         recarr['attr6']= rcnt*attr6
         h5f['my_ds'][rcnt] = recarr[0]

使用 h5py 保存混合结构化数据

Saving mixed structured data with h5py

python

hdf5

pytables

h5py