动态过滤 pandas 数据帧

Question

我正在尝试使用三列的阈值过滤 pandas 数据框

import pandas as pd
df = pd.DataFrame({"A" : [6, 2, 10, -5, 3],
                   "B" : [2, 5, 3, 2, 6],
                   "C" : [-5, 2, 1, 8, 2]})
df = df.loc[(df.A > 0) & (df.B > 2) & (df.C > -1)].reset_index(drop = True)

df
    A  B  C
0   2  5  2
1  10  3  1
2   3  6  2

但是，我想在一个函数中执行此操作，其中列的名称及其阈值在字典中提供给我。这是我的第一次尝试，效果不错。本质上，我将过滤器放在 cond 变量中，只是运行它：

df = pd.DataFrame({"A" : [6, 2, 10, -5, 3],
                   "B" : [2, 5, 3, 2, 6],
                   "C" : [-5, 2, 1, 8, 2]})
limits_dic = {"A" : 0, "B" : 2, "C" : -1}
cond = "df = df.loc["
for key in limits_dic.keys():
    cond += "(df." + key + " > " + str(limits_dic[key])+ ") & "
cond = cond[:-2] + "].reset_index(drop = True)"
exec(cond)
df
    A  B  C
0   2  5  2
1  10  3  1
2   3  6  2

现在，我终于把所有东西都放在一个函数中，但它停止工作了（也许 exec 函数不喜欢在函数内部使用！）：

df = pd.DataFrame({"A" : [6, 2, 10, -5, 3],
                   "B" : [2, 5, 3, 2, 6],
                   "C" : [-5, 2, 1, 8, 2]})
limits_dic = {"A" : 0, "B" : 2, "C" : -1}
def filtering(df, limits_dic):
    cond = "df = df.loc["
    for key in limits_dic.keys():
        cond += "(df." + key + " > " + str(limits_dic[key])+ ") & "
    cond = cond[:-2] + "].reset_index(drop = True)"
    exec(cond)
    return(df)

df = filtering(df, limits_dic)
df
    A  B  C
0   6  2 -5
1   2  5  2
2  10  3  1
3  -5  2  8
4   3  6  2

我知道 exec 函数在函数内部使用时会有所不同，但不确定如何解决该问题。另外，我想知道必须有一种更优雅的方法来定义一个函数来执行给定两个输入的过滤：1)df 和 2)limits_dic = {"A" : 0, "B" : 2, "C" : -1}。如果对此有任何想法，我将不胜感激。

Answer 1

如果您尝试构建动态查询，则有更简单的方法。这是一个使用列表理解和 str.join:

query = ' & '.join(['{}>{}'.format(k, v) for k, v in limits_dic.items()])

或者，使用 f-strings with python-3.6+,

query = ' & '.join([f'{k}>{v}' for k, v in limits_dic.items()])

print(query)

'A>0 & C>-1 & B>2'

将查询字符串传递给 df.query，它就是为了这个目的：

out = df.query(query)
print(out)

    A  B  C
1   2  5  2
2  10  3  1
4   3  6  2

如果我的列名有空格或其他奇怪的字符怎么办？

从 pandas 0.25 开始，您可以将列名用反引号括起来，这样就可以了：

query = ' & '.join([f'`{k}`>{v}' for k, v in limits_dic.items()])

有关更多信息，请参阅。

如果你想为你的查询获取一个布尔掩码，你也可以使用 df.eval，然后索引变得简单：

mask = df.eval(query)
print(mask)

0    False
1     True
2     True
3    False
4     True
dtype: bool

out = df[mask]
print(out)

    A  B  C
1   2  5  2
2  10  3  1
4   3  6  2

字符串数据

如果您需要查询使用字符串数据的列，上面的代码需要稍作修改。

考虑（来自的数据）：

df = pd.DataFrame({'gender':list('MMMFFF'),
                   'height':[4,5,4,5,5,4],
                   'age':[70,80,90,40,2,3]})

print (df)
  gender  height  age
0      M       4   70
1      M       5   80
2      M       4   90
3      F       5   40
4      F       5    2
5      F       4    3

以及列、运算符和值的列表：

column = ['height', 'age', 'gender']
equal = ['>', '>', '==']
condition = [1.68, 20, 'F']

此处适当修改为：

query = ' & '.join(f'{i} {j} {repr(k)}' for i, j, k in zip(column, equal, condition))
df.query(query)

   age gender  height
3   40      F       5

有关 pd.eval() 函数系列及其功能和用例的信息，请访问。

Answer 2

@coldspeed 的替代版本：

conditions = None
for key, val in limit_dic.items():
    cond = df[key] > val
    if conditions is None:
        conditions = cond
    else:
        conditions = conditions & cond
print(df[conditions])

Answer 3

两个发布的替代方案，可能更 pythonic 也可能不是：

import pandas as pd
import operator
from functools import reduce

df = pd.DataFrame({"A": [6, 2, 10, -5, 3],
                   "B": [2, 5, 3, 2, 6],
                   "C": [-5, 2, 1, 8, 2]})

limits_dic = {"A": 0, "B": 2, "C": -1}

# equiv to [df['A'] > 0, df['B'] > 2 ...]
loc_elements = [df[key] > val for key, val in limits_dic.items()]

df = df.loc[reduce(operator.and_, loc_elements)]

Answer 4

如何在不创建字符串的情况下执行此操作 df.query:

limits_dic = {"A" : 0, "B" : 2, "C" : -1}
cond = None

# Build the conjunction one clause at a time 
for key, val in limits_dic.items():
    if cond is None:
        cond = df[key] > val
    else:
        cond = cond & (df[key] > val)

df.loc[cond]

    A  B  C
0   2  5  2
1  10  3  1
2   3  6  2

注意硬编码的 (>, &) 运算符（因为我想完全按照您的示例）。

动态过滤 pandas 数据帧

Dynamically filtering a pandas dataframe

python

exec

filter

dataframe

pandas

如果我的列名有空格或其他奇怪的字符怎么办？

字符串数据