Pandas HDFStore：使用select函数和直接访问的区别

Question

给定一个 pandas HDFStore 包含 DataFrame:

import pandas as pd
import numpy.random as rd

df = pd.DataFrame(rd.randn(int(1000)).reshape(500, 2), columns=list('ab'))
store = pd.HDFStore('store.h5')
store.append('df', df, data_columns=['a', 'b'])

我可以使用 select 函数来检索数据的子集，如下所示：

store.select('df', ['a > 0', 'b > 0'])

但是，如果我使用不在 HDFStore:[=19= 中的普通 DataFrame，我可以通过回退到我可能使用的那种命令来获得相同的输出]

store.df[(store.df.a > 0) & (store.df.b > 0)]

这两种方法有区别吗？如果有，有什么区别？

Answer 1

如果你运行一些基准，你会发现以下内容

%timeit store.select('df', ['a > 0', 'b > 0'])
100 loops, best of 3: 2.63 ms per loop
%timeit store.df[(store.df.a > 0) & (store.df.b > 0)]
100 loops, best of 3: 6.01 ms per loop

这表明第一种select 访问文件的次数少于第二种方法。具体如下

%timeit store.df.a > 0
100 loops, best of 3: 1.84 ms per loop
%timeit store.df.b > 0
1000 loops, best of 3: 1.82 ms per loop

大约需要2ms，然后你需要select根据两者的逻辑与。只是，您需要应用最终过滤器。 select相反，只访问一次数据！

Pandas HDFStore：使用select函数和直接访问的区别

Pandas HDFStore: difference between using the select function and direct access

python

python-2.7

pandas

hdfstore