通过最后 N 个值过滤 Pandas 数据帧

Question

我正在尝试获取最后 3 行的平均值大于筛选集中所有行的总体平均值的所有记录。

_filtered_d_all = _filtered_d.iloc[:, 0:50].loc[:, _filtered_d.mean()>0.05]
_last_n_records = _filtered_d.tail(3)

像这样

_filtered_growing = _filtered_d.iloc[:, 0:50].loc[:, _last_n_records.mean() > _filtered_d.mean()]

但是，这里的问题是值长度不正确。有什么建议吗？

ValueError: Series lengths must match to compare

示例数据

这有一个关于年和月的索引，以及 2 列。

            Col1    Col2
year    month       
2005    12  0.533835    0.170679
        12  0.494733    0.198347
2006    3   0.440098    0.202240
        6   0.410285    0.188421
        9   0.502420    0.200188
        12  0.522253    0.118680
2007    3   0.378120    0.171192
        6   0.431989    0.145158
        9   0.612036    0.178097
        12  0.519766    0.252196
2008    3   0.547705    0.202163
        6   0.560985    0.238591
        9   0.617320    0.199537
        12  0.343939    0.253855

Answer 1

为什么不直接在过滤后的 DataFrame 上使用布尔索引

df[df.tail(3).mean() > df.mean()]

演示

>>> df
   0  1  2  3  4
0  4  8  2  4  6
1  0  0  0  2  8
2  5  3  0  9  3
3  7  5  5  1  2
4  9  7  8  9  4

>>> df[df.tail(3).mean() > df.mean()]
   0  1  2  3  4
0  4  8  2  4  6
1  0  0  0  2  8
2  5  3  0  9  3
3  7  5  5  1  2

MultiIndex 编辑的更新示例

同样适用于您的 MultiIndex 示例，当然我们只需要掩码有所不同即可。

>>> df 
             col1      col2
2005 12 -0.340088 -0.574140
     12 -0.814014  0.430580
2006 3   0.464008  0.438494
     6   0.019508 -0.635128
     9   0.622645 -0.824526
     12 -1.674920 -1.027275
2007 3   0.397133  0.659467
     6   0.026170 -0.052063
     9   0.835561  0.608067
     12  0.736873 -0.613877
2008 3   0.344781 -0.566392
     6  -0.653290 -0.264992
     9   0.080592 -0.548189
     12  0.585642  1.149779

>>> df.loc[:,df.tail(3).mean() > df.mean()] 
             col2
2005 12 -0.574140
     12  0.430580
2006 3   0.438494
     6  -0.635128
     9  -0.824526
     12 -1.027275
2007 3   0.659467
     6  -0.052063
     9   0.608067
     12 -0.613877
2008 3  -0.566392
     6  -0.264992
     9  -0.548189
     12  1.149779

通过最后 N 个值过滤 Pandas 数据帧

Filtering Pandas Dataframe by mean of last N values

python

pandas

filtering

analysis