在列中有多个级别 Python

Question

我在数据框中有几列 - 每列都有几个 factors/levels (10+) 。在每一列中，3-4 个因素构成了 85-90% 的值。我在数据中有几列。遍历每一列并制作前 3-4 名的虚拟变量将花费大量时间。简单地放置 get_dummies 会以指数方式增加数据的大小。是否有任何有用的方法可以建议我可以自动将前 3-4 个因素作为虚拟变量将其余因素推入每一列的“其他”类别？我正在使用 python

Answer 1

您可以按列查找 nlargest，并在创建虚拟对象时将不在前 3 位的值替换为其他值。

import pandas as pd

df = pd.DataFrame({'type':['a','a','a','b','b','b','c','d','e'],
                  'size': ['s','s','s','m','m','s','l','l','xl']})

for col in ['type','size']:
    df = pd.concat([df,
                    pd.get_dummies(df[col].replace(df.loc[~df[col].isin(df[col].value_counts().nlargest(3).index)][col].unique(),
                                                   'other'), 
                                   prefix=col)],
                   axis=1)

输出

  type size  type_a  type_b  type_c  type_other  size_l  size_m  size_other  \
0    a    s       1       0       0           0       0       0           0   
1    a    s       1       0       0           0       0       0           0   
2    a    s       1       0       0           0       0       0           0   
3    b    m       0       1       0           0       0       1           0   
4    b    m       0       1       0           0       0       1           0   
5    b    s       0       1       0           0       0       0           0   
6    c    l       0       0       1           0       1       0           0   
7    d    l       0       0       0           1       1       0           0   
8    e   xl       0       0       0           1       0       0           1   

   size_s  
0       1  
1       1  
2       1  
3       0  
4       0  
5       1  
6       0  
7       0  
8       0

在列中有多个级别 Python

Having Several Levels in columns Python

python

dataframe

loops

factors

levels