附加到 h5 文件

Question

我有一个包含如下数据集的 h5 文件：

col1.      col2.      col3
 1           3          5
 5           4          9
 6           8          0
 7           2          5
 2           1          2

我有另一个包含相同列的 h5 文件：

col1.      col2.      col3
 6           1          9
 8           2          7

我想将这两个连接起来得到以下 h5 文件：

col1.      col2.      col3
 1           3          5
 5           4          9
 6           8          0
 7           2          5
 2           1          2
 6           1          9
 8           2          7

如果文件很大或者我们有很多这样的合并，最有效的方法是什么？

Answer 1

我不熟悉 pandas，所以帮不上忙。这可以通过 h5py 或 pytables 来完成。正如@hpaulj 提到的，该过程将数据集读入一个 numpy 数组，然后使用 h5py 写入 HDF5 数据集。确切的过程取决于 maxshape 属性（它控制是否可以调整数据集的大小）。

我创建了示例来展示这两种方法（固定大小或可调整大小的数据集）。第一种方法创建一个新的 file3，它结合了 file1 和 file2 的值。第二种方法将 file2 中的值添加到 file1e（可调整大小）。注意：创建示例中使用的文件的代码在最后。

我对 SO 有一个更长的答案，其中显示了复制数据的所有方法。
看到这个答案：How can I combine multiple .h5 file?

方法一：将数据集合并成一个新文件
当未使用 maxshape= 参数

创建数据集时需要

with h5py.File('file1.h5','r') as h5f1,  \
     h5py.File('file2.h5','r') as h5f2,  \
     h5py.File('file3.h5','w') as h5f3 :
         
    print (h5f1['ds_1'].shape, h5f1['ds_1'].maxshape)
    print (h5f2['ds_2'].shape, h5f2['ds_2'].maxshape)    

    arr1_a0 = h5f1['ds_1'].shape[0]            
    arr2_a0 = h5f2['ds_2'].shape[0]            
    arr3_a0 = arr1_a0 + arr2_a0          
    h5f3.create_dataset('ds_3', dtype=h5f1['ds_1'].dtype,
                        shape=(arr3_a0,3), maxshape=(None,3))

    xfer_arr1 = h5f1['ds_1']               
    h5f3['ds_3'][0:arr1_a0, :] = xfer_arr1
 
    xfer_arr2 = h5f2['ds_2']   
    h5f3['ds_3'][arr1_a0:arr3_a0, :] = xfer_arr2

    print (h5f3['ds_3'].shape, h5f3['ds_3'].maxshape)

方法 2：将 file2 数据集附加到 file1 数据集
file1e 中的数据集 必须使用 maxshape= 参数

创建

with h5py.File('file1e.h5','r+') as h5f1, \
     h5py.File('file2.h5','r') as h5f2 :

    print (h5f1['ds_1e'].shape, h5f1['ds_1e'].maxshape)
    print (h5f2['ds_2'].shape, h5f2['ds_2'].maxshape)    
    
    arr1_a0 = h5f1['ds_1e'].shape[0]            
    arr2_a0 = h5f2['ds_2'].shape[0] 
    arr3_a0 = arr1_a0 + arr2_a0          

    h5f1['ds_1e'].resize(arr3_a0,axis=0)
    
    xfer_arr2 = h5f2['ds_2']   
    h5f1['ds_1e'][arr1_a0:arr3_a0, :] = xfer_arr2

    print (h5f1['ds_1e'].shape, h5f1['ds_1e'].maxshape)

创建上面使用的示例文件的代码：

import h5py
import numpy as np

arr1 = np.array([[ 1, 3, 5 ],
                 [ 5, 4, 9 ],
                 [ 6, 8, 0 ],
                 [ 7, 2, 5 ],
                 [ 2, 1, 2 ]] )

with h5py.File('file1.h5','w') as h5f:
    h5f.create_dataset('ds_1',data=arr1)
    print (h5f['ds_1'].maxshape)   
    
with h5py.File('file1e.h5','w') as h5f:
    h5f.create_dataset('ds_1e',data=arr1, shape=(5,3), maxshape=(None,3))
    print (h5f['ds_1e'].maxshape)             
                 
arr2 = np.array([[ 6, 1, 9 ],
                 [ 8, 2, 7 ]] )
                 
with h5py.File('file2.h5','w') as h5f:
    h5f.create_dataset('ds_2',data=arr2)

附加到 h5 文件

Appending to h5 files

python

hdf5

h5py