pandas: select 使用循环基于列排名的一定数量的行

Question

我有一个看起来像这样的数据框

pd.DataFrame({'a':['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J'],
              'b':['N', 'Y', 'Y', 'N', 'Y', 'N', 'Y', 'N', 'N', 'Y'],
              'c':[4, 5, 9, 8, 1, 3, 7, 2, 6, 10]})

   a  b   c
0  A  N   4
1  B  Y   5
2  C  Y   9
3  D  N   8
4  E  Y   1
5  F  N   3
6  G  Y   7
7  H  N   2
8  I  N   6
9  J  Y  10

根据以下条件，在 10 行中我想要 select 5 行：

列'c'是我的排名列。

select 最低 2 行（第 4 行和第 7 行 selected）
select 列 'b' = 'Y' 且排名 <=5 的所有行（第 1 行 selected）
如果使用上述标准 selected 的行少于 5 行，则剩余的空缺职位应按排名顺序（最低）填充 'b' = 'Y' 的行并且排名 <= 7（第 6 行 selected）
如果少于 5 行通过前 3 个标准，则按排名顺序（最低）填充剩余位置，其中 'b' = 'N'

我已经尝试过这个（涵盖了规则 1 和 2）但是很难从那里继续下去

df['selected'] = ''
df.loc[(df.c <= 2), 'selected'] = 'rule_1'
df.loc[((df.c <= 5) & (df.b == 'Y')), 'selected'] = 'rule_2'

我生成的数据框应该如下所示

   a  b   c  selected
0  A  N   4     False
1  B  Y   5     rule_2
2  C  Y   9     False
3  D  N   8     rule_4
4  E  Y   1     rule_1
5  F  N   3     False
6  G  Y   7     rule_3
7  H  N   2     rule_1
8  I  N   6     False
9  J  Y  10     False

基于下面 Vinod Karantothu 提供的解决方案，我选择了以下似乎有效的解决方案：

def solution(df):

    def sol(df, b='Y'):
        result_df_rule1 = df.sort_values('c')[:2]
        result_df_rule1['action'] = 'rule_1'
        result_df_rule2 = df.sort_values('c')[2:].loc[df['b'] == b].loc[df['c'] <= 5]
        result_df_rule2['action'] = 'rule_2'
        result = pd.concat([result_df_rule1, result_df_rule2]).head(5)

        if len(result) < 5:
            remaining_rows = pd.concat([df, result, result]).drop_duplicates(subset='a', keep=False)
            result_df_rule3 = remaining_rows.loc[df['b'] == b].loc[df['c'] <= 7]
            result_df_rule3['action'] = 'rule_3'
            result = pd.concat([result, result_df_rule3]).head(5)
            return result, pd.concat([remaining_rows, result, result]).drop_duplicates(subset='a', keep=False)

    result, remaining_data = sol(df)

    if len(result) < 5:
        result1, remaining_data = sol(remaining_data, 'N')
        result1['action'] = 'rule_4'
        result = pd.concat([result, result1]).head(5).drop_duplicates(subset='a', keep=False).merge(df, how='outer', on='a')

    return result

if __name__ == '__main__':
df = pd.DataFrame({'a': ['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J'],
                   'b': ['N', 'Y', 'Y', 'N', 'Y', 'N', 'Y', 'N', 'N', 'Y'],
                   'c': [4, 5, 9, 8, 1, 3, 7, 2, 6, 10]})

    result = solution(df)
    print(result)

Answer 1

您可以为规则创建额外的列，然后排序并取头。 IIUC 从评论中看规则 3 已经包含了规则 2 所以不需要单独计算。

df['r1'] = df.c < 3
df['r3'] = (df.c <= 7) & (df.b == 'Y')
print(df.sort_values(['r1', 'r3', 'c'], ascending=[False, False, True])[['a', 'b', 'c']].head(5))

   a  b  c
4  E  Y  1
7  H  N  2
1  B  Y  5
6  G  Y  7
5  F  N  3

布尔列排序有效，因为 True > False.

注意：您可能需要根据不同数据集的预期调整代码。例如，您的最后一行 9 J Y 10 当前未包含在任何规则中。您可以采用这种方法并在需要时对其进行扩展。

Answer 2

import pandas as pd

def solution(df):

    def sol(df, b='Y'):
        result_df_rule1 = df.sort_values('c')[:2]
        result_df_rule2 = df.sort_values('c')[2:].loc[df['b'] == b].loc[df['c'] <= 5]
        result = pd.concat([result_df_rule1, result_df_rule2]).head(5)

        if len(result) < 5:
            remaining_rows = pd.concat([df, result, result]).drop_duplicates(keep=False)
            result_df_rule3 = remaining_rows.loc[df['b'] == b].loc[df['c'] <= 7]
            result = pd.concat([result, result_df_rule3]).head(5)
            return result, pd.concat([remaining_rows, result, result]).drop_duplicates(keep=False)

    result, remaining_data = sol(df)

    if len(result) < 5:
        result1, remaining_data = sol(remaining_data, 'N')
        result = pd.concat([result, result1]).head(5)

    return result

if __name__ == '__main__':
    df = pd.DataFrame({'a':['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J'],
              'b':['N', 'Y', 'Y', 'N', 'Y', 'N', 'Y', 'N', 'N', 'Y'],
              'c':[4, 5, 9, 8, 1, 3, 7, 2, 6, 10]})
    
    result = solution(df)
    print(result)

结果：

Answer 3

对于您的第 4 条规则，您在生成的数据框中提到，ROW_INDEX 3 会出现，但它已经8 的排名不是最低的，ROW_INDEX 5 应该根据您给出的规则来：

import pandas as pd
data = pd.DataFrame({'a':['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J'],
          'b':['N', 'Y', 'Y', 'N', 'Y', 'N', 'Y', 'N', 'N', 'Y'],
          'c':[4, 5, 9, 8, 1, 3, 7, 2, 6, 10]})

data1 = data.nsmallest(2, ['c'])
dataX = data.drop(data1.index)

data2 = dataX[((dataX.b == "Y") & (dataX.c<=5))] 
dataX = dataX.drop(data2.index) 

data3 = dataX[((dataX.b == "Y") & (dataX.c<=7))]  
dataX = dataX.drop(data3.index) 

data4 = dataX[((dataX.b == "N"))]
data4 = data4.nsmallest(1, ['c'])

resultframes = [data1, data2, data3, data4]
resultfinal = pd.concat(resultframes)
print(resultfinal)

输出如下：

pandas: select 使用循环基于列排名的一定数量的行

pandas: select certain amount of rows based on column ranking using loop

python

loops

rank

pandas