python h5py: 我可以存储不同列具有不同类型的数据集吗？

Question

假设我有一个table，它有很多列，只有少数列是float类型，其他都是小整数，例如：

col1, col2, col3, col4
1.31   1      2     3
2.33   3      5     4
...

我怎样才能有效地存储这个，假设我对这个数据集使用np.float32，存储被浪费了，因为其他列只有一个小整数，他们不需要那么多space .如果我使用 np.int16，浮点列不准确，这也是我想要的。 所以遇到这种情况我该如何处理呢？

假设我也有一个字符串列，这让我更加困惑，我应该如何存储数据？

col1, col2, col3, col4, col5
1.31   1      2     3    "a"
2.33   3      5     4    "b"
...

编辑：

为了简单起见，假设字符串列只有固定长度的字符串，例如，长度为 3。

Answer 1

我将演示结构化数组方法：

我猜您是从 csv 文件开始的 'table'。如果不是，它仍然是将样本转换为数组的最简单方法：

In [40]: txt = '''col1, col2, col3, col4, col5
    ...: 1.31   1      2     3    "a"
    ...: 2.33   3      5     4    "b"
    ...: '''


In [42]: data = np.genfromtxt(txt.splitlines(), names=True, dtype=None, encoding=None)

In [43]: data
Out[43]: 
array([(1.31, 1, 2, 3, '"a"'), (2.33, 3, 5, 4, '"b"')],
      dtype=[('col1', '<f8'), ('col2', '<i8'), ('col3', '<i8'), ('col4', '<i8'), ('col5', '<U3')])

使用这些参数，genfromtxt 负责创建结构化数组。请注意，它是一个包含 5 个字段的一维数组。字段数据类型由数据确定。

In [44]: import h5py
...

In [46]: f = h5py.File('struct.h5', 'w')

In [48]: ds = f.create_dataset('data',data=data)
...
TypeError: No conversion path for dtype: dtype('<U3')

但是 h5py 在保存 unicode 字符串时出现问题（py3 的默认值）。可能有解决方法，但在这里将字符串 dtype 转换为字节串会更简单。而且这样会更紧凑

要转换它，我将制作一个新的 dtype，并使用 astype。或者我可以在 genfromtxt 调用中指定数据类型。

In [49]: data.dtype
Out[49]: dtype([('col1', '<f8'), ('col2', '<i8'), ('col3', '<i8'), ('col4', '<i8'), ('col5', '<U3')])

In [50]: data.dtype.descr
Out[50]: 
[('col1', '<f8'),
 ('col2', '<i8'),
 ('col3', '<i8'),
 ('col4', '<i8'),
 ('col5', '<U3')]

In [51]: dt1 = data.dtype.descr

In [52]: dt1[-1] = ('col5', 'S3')

In [53]: data.astype(dt1)
Out[53]: 
array([(1.31, 1, 2, 3, b'"a"'), (2.33, 3, 5, 4, b'"b"')],
      dtype=[('col1', '<f8'), ('col2', '<i8'), ('col3', '<i8'), ('col4', '<i8'), ('col5', 'S3')])

现在它可以毫无问题地保存数组：

In [54]: data1 = data.astype(dt1)

In [55]: data1
Out[55]: 
array([(1.31, 1, 2, 3, b'"a"'), (2.33, 3, 5, 4, b'"b"')],
      dtype=[('col1', '<f8'), ('col2', '<i8'), ('col3', '<i8'), ('col4', '<i8'), ('col5', 'S3')])

In [56]: ds = f.create_dataset('data',data=data1)

In [57]: ds
Out[57]: <HDF5 dataset "data": shape (2,), type "|V35">

In [58]: ds[:]
Out[58]: 
array([(1.31, 1, 2, 3, b'"a"'), (2.33, 3, 5, 4, b'"b"')],
      dtype=[('col1', '<f8'), ('col2', '<i8'), ('col3', '<i8'), ('col4', '<i8'), ('col5', 'S3')])

我可以做进一步的修改，缩短一个或多个 int 字段：

In [60]: dt1[1] = ('col2','i2')    
In [61]: dt1[2] = ('col3','i2')

In [62]: dt1
Out[62]: 
[('col1', '<f8'),
 ('col2', 'i2'),
 ('col3', 'i2'),
 ('col4', '<i8'),
 ('col5', 'S3')]

In [63]: data1 = data.astype(dt1)

In [64]: data1
Out[64]: 
array([(1.31, 1, 2, 3, b'"a"'), (2.33, 3, 5, 4, b'"b"')],
      dtype=[('col1', '<f8'), ('col2', '<i2'), ('col3', '<i2'), ('col4', '<i8'), ('col5', 'S3')])

In [65]: ds1 = f.create_dataset('data1',data=data1)

ds1 具有更紧凑的存储空间，'V23' 与 'V35'

In [67]: ds1
Out[67]: <HDF5 dataset "data1": shape (2,), type "|V23">

In [68]: ds1[:]
Out[68]: 
array([(1.31, 1, 2, 3, b'"a"'), (2.33, 3, 5, 4, b'"b"')],
      dtype=[('col1', '<f8'), ('col2', '<i2'), ('col3', '<i2'), ('col4', '<i8'), ('col5', 'S3')])

python h5py: 我可以存储不同列具有不同类型的数据集吗？

python h5py: can I store a dataset which different columns have different types?

python

hdf5

h5py

编辑：