删除 pandas 中方差较小的列

Question

我正在尝试删除 pandas 数据框中具有 0 方差的列。我确定这已在某处得到解答，但我很难找到关于它的话题。我找到了，但是当我为我的数据框尝试解决方案时，baseline 使用命令

baseline_filtered=baseline.loc[:,baseline.std() > 0.0]

我收到错误

    "Unalignable boolean Series provided as "

IndexingError: Unalignable boolean Series provided as indexer (index of the boolean Series and of the indexed object do not match).

那么，有人可以告诉我为什么会出现此错误或提供替代解决方案吗？

Answer 1

有一些非数字列，因此std默认删除这些列：

baseline = pd.DataFrame({
        'A':list('abcdef'),
         'B':[4,5,4,5,5,4],
         'C':[7,8,9,4,2,3],
         'D':[1,1,1,1,1,1],
         'E':[5,3,6,9,2,4],
         'F':list('aaabbb')
})

#no A, F columns
m = baseline.std() > 0.0
print (m)
B     True
C     True
D    False
E     True
dtype: bool

因此，添加或删除字符串列的可能解决方案是使用 DataFrame.reindex:

baseline_filtered=baseline.loc[:,m.reindex(baseline.columns, axis=1, fill_value=True) ]
print (baseline_filtered)
   A  B  C  E  F
0  a  4  7  5  a
1  b  5  8  3  a
2  c  4  9  6  a
3  d  5  4  9  b
4  e  5  2  2  b
5  f  4  3  4  b

baseline_filtered=baseline.loc[:,m.reindex(baseline.columns, axis=1, fill_value=False) ]
print (baseline_filtered)
   B  C  E
0  4  7  5
1  5  8  3
2  4  9  6
3  5  4  9
4  5  2  2
5  4  3  4

另一个想法是使用 DataFrame.nunique 处理字符串和数字列：

baseline_filtered=baseline.loc[:,baseline.nunique() > 1]
print (baseline_filtered)
   A  B  C  E  F
0  a  4  7  5  a
1  b  5  8  3  a
2  c  4  9  6  a
3  d  5  4  9  b
4  e  5  2  2  b
5  f  4  3  4  b

删除 pandas 中方差较小的列

Drop column with low variance in pandas

python

dataframe

pandas

drop