pandas 数据帧的多个条件

Question

我有一个条件列表运行在数据集上对大量数据进行排序。

df = A Huge_dataframe. 例如

  Index D1  D2  D3   D5      D6
    0   8   5   0  False   True
    1  45  35   0   True  False
    2  35  10   1  False   True
    3  40   5   2   True  False
    4  12  10   5  False  False
    5  18  15  13  False   True
    6  25  15   5   True  False
    7  35  10  11  False   True
    8  95  50   0  False  False

我必须根据给定的顺序对以上 df 进行排序：

orders = [[A, B],[D, ~E, B], [~C, ~A], [~C, A]...] 
#(where A, B, C , D, E are the conditions)

例如

A = df['D1'].le(50)
B = df['D2'].ge(5)
C = df['D3'].ne(0)
D = df['D1'].ne(False)
E = df['D1'].ne(True)
# In the real scenario, I have 64 such conditions to be run on 5 million records.

例如。我必须运行所有这些条件才能得到结果输出。

完成以下任务的最简单方法是什么，使用 for loop 或 map 或 .apply 对它们进行排序？

  df = df.loc[A & B]
  df = df.loc[D & ~E & B]
  df = df.loc[~C & ~A]
  df = df.loc[~C & A]

结果 df 将是我的预期输出。

这里我更感兴趣的是，如果我想将运行 multiple conditions 存储在列表中，你将如何使用循环或映射或 .apply。不是结果输出。

如：

for i in orders:
   df = df[all(i)] # I am not able to implement this logic for each order

Answer 1

您正在寻找 bitwise and orders 内的所有元素。在这种情况下：

df = df[np.concatenate(orders).all(0)]

pandas 数据帧的多个条件

Multiple conditions on pandas dataframe

multiple-conditions

multiple-columns

pandas

logical-and