Pytables：可以减小 Appended Earray 的大小吗？

Question

根据 SO Post 上的建议，我还发现 PyTables-append 非常省时。但是，在我的例子中，输出文件 (earray.h5) 的大小很大。有没有办法附加数据以使输出文件不那么大？例如，在我的例子中（见下面的 link）一个 13GB 的输入文件（dset_1：2.1E8 x 4 和 dset_2：2.1E8 x 4）给出了一个 197GB 的输出文件，只有一列 (2.5E10 x 1)。所有元素都是 float64.

我想减小输出文件的大小，这样脚本的执行速度就不会受到影响，并且输出文件的读取也可以高效地供以后使用。沿着列而不只是行保存数据有帮助吗？对此有什么建议吗？下面给出的是一个 MWE。

Output and input files' details here

# no. of chunks from dset-1 and dset-2 in inp.h5
loop_1 = 40
loop_2 = 20 

# save to disk after these many rows
app_len = 10**6 

# **********************************************
#       Grabbing input.h5 file
# **********************************************
filename = 'inp.h5'
f2 = h5py.File(filename, 'r')
chunks1 = f2['dset_1']
chunks2 = f2['dset_2']
shape1, shape2 = chunks1.shape[0], chunks2.shape[0]

f1 = tables.open_file("table.h5", "w")
a = f1.create_earray(f1.root, "dataset_1", atom=tables.Float64Atom(), shape=(0, 4))

size1 = shape1//loop_1
size2 = shape2//loop_2

# ***************************************************
#       Grabbing chunks to process and append data
# ***************************************************
for c in range(loop_1):
    h = c*size1
    # grab chunks from dset_1 of inp.h5  
    chunk1 = chunks1[h:(h + size1)]

    for d in range(loop_2):
        g = d*size2
        chunk2 = chunks2[g:(g + size2)] # grab chunks from dset_2 of inp.h5 
        r1 = chunk1.shape[0]
        r2 = chunk2.shape[0]
        left, right = 0, 0

        for j in range(r1):  # grab col.2 values from dataset-1
            e1 = chunk1[j, 1]
            #...Algaebraic operations here to output a row containing 4 float64
            #...append to a (earray) when no. of rows reach a million
        del chunk2
    del chunk1
f2.close()

Answer 1

我写了你引用的答案。这是一个“仅”写入 1.5e6 行的简单示例。我没有做任何事情来优化非常大的文件的性能。您正在创建一个非常大的文件，但没有说明有多少行（显然超过 10**6）。以下是根据另一个主题中的评论提出的一些建议。

我推荐的区域（3 个与 PyTables 代码相关，2 个基于外部使用）。

PyTables代码建议：

创建文件时启用压缩（创建文件时添加filters=参数）。从 tb.Filters(complevel=1).
在 .create_tables() 中定义 expectedrows= 参数（根据 PyTables 文档，'这将优化 HDF5 B-Tree 和使用的内存量 ').默认值设置在tables/parameters.py中（寻找EXPECTED_ROWS_TABLE；在我的安装中它只有10000）。如果您要创建 10**6（或更多）行，我建议您将此设置为更大的值。
设置 expectedrows= 有一个附带的好处。如果您不定义 chunkshape，“根据 expectedrows 参数计算一个合理的值”。检查使用的值。这不会减小创建的文件大小，但会提高 I/O 性能。

如果您在创建文件时没有使用压缩，有两种方法可以压缩现有文件：

外部实用程序：

PyTables 实用程序 ptrepack - 运行针对 HDF5 文件创建一个新文件（用于从未压缩到压缩，或 vice-versa）。它随 PyTables 一起提供，并在命令行上提供运行s。
HDF5 实用程序 h5repack - 与 ptrepack 类似。它随 HDF Group 的 HDF5 安装程序一起提供。

有 trade-offs 文件压缩：它减小了文件大小，但增加了访问时间（降低了 I/O 性能）。我倾向于使用经常打开的未压缩文件（以获得最佳 I/O 性能）。然后完成后，我将其转换为压缩格式以进行长期存档。您可以继续以压缩格式使用它们（API 处理干净）。

Pytables：可以减小 Appended Earray 的大小吗？

Pytables: Can Appended Earray be reduced in size?

python

chunking

large-data

pytables