通过 h5py 在 hdf5 中进行 blosc 压缩

Question

我正在使用 h5py 在 python 中创建 hdf5 文件，我想使用 blosc 作为压缩过滤器。我首先通过以下方式从源代码安装了 c-blosc：

wget https://github.com/Blosc/c-blosc/archive/v1.9.1.tar.gz
tar -xvf c-blosc-v1.9.1.tar.gz
cd c-blosc-v1.9.1
mkdir build
cd build
cmake -DCMAKE_INSTALL_PREFIX=/usr/local ..
cmake --build .
cmake --build . --target install

（请注意，否则我使用自制软件，所以我的 /usr/local 无需 sudo 即可写入）

然后我通过以下方式从源代码安装了 hdf5 v1.10.0：

wget http://www.hdfgroup.org/ftp/HDF5/releases/hdf5-1.10/hdf5-1.10.0/src/hdf5-1.10.0.tar.gz
tar -xvf hdf5-1.10.0.tar.gz
cd hdf5-1.10.0
./configure --enable-static=yes --enable-shared=yes --prefix=/usr/local/hdf5
make && make install

最后，我通过以下方式从源代码安装了 h5py v2.6.0：

wget https://github.com/h5py/h5py/archive/2.6.0.tar.gz
tar -xvf h5py-2.6.0.tar.gz
cd h5py-2.6.0
python setup.py install
python setup.py install

然而，当我启动 python 解释器和运行:

import h5py
f = h5py.File('myFile.hdf5','w')
dset = f.create_dataset("myData", (100, 100), compression=32001) 
#32001 is blosc, see: https://www.hdfgroup.org/services/filters.html

我收到错误 "ValueError: Unknown compression filter number: 32001"。我在安装流中遗漏了什么？

Answer 1

我发现实现此功能的最简单方法是安装 pytables 并在 python 脚本的开头加载它。之后你根本不需要使用 pytables，但是加载它显然会调用注册 blosc 过滤器的东西。

Answer 2

在import h5py

之前

你需要import tables

通过 h5py 在 hdf5 中进行 blosc 压缩

blosc compression in hdf5 via h5py

python

hdf5

h5py