在列中有多个级别 Python
Having Several Levels in columns Python
我在数据框中有几列 - 每列都有几个 factors/levels (10+) 。在每一列中,3-4 个因素构成了 85-90% 的值。我在数据中有几列。遍历每一列并制作前 3-4 名的虚拟变量将花费大量时间。简单地放置 get_dummies 会以指数方式增加数据的大小。是否有任何有用的方法可以建议我可以自动将前 3-4 个因素作为虚拟变量将其余因素推入每一列的“其他”类别?我正在使用 python
您可以按列查找 nlargest
,并在创建虚拟对象时将不在前 3 位的值替换为其他值。
import pandas as pd
df = pd.DataFrame({'type':['a','a','a','b','b','b','c','d','e'],
'size': ['s','s','s','m','m','s','l','l','xl']})
for col in ['type','size']:
df = pd.concat([df,
pd.get_dummies(df[col].replace(df.loc[~df[col].isin(df[col].value_counts().nlargest(3).index)][col].unique(),
'other'),
prefix=col)],
axis=1)
输出
type size type_a type_b type_c type_other size_l size_m size_other \
0 a s 1 0 0 0 0 0 0
1 a s 1 0 0 0 0 0 0
2 a s 1 0 0 0 0 0 0
3 b m 0 1 0 0 0 1 0
4 b m 0 1 0 0 0 1 0
5 b s 0 1 0 0 0 0 0
6 c l 0 0 1 0 1 0 0
7 d l 0 0 0 1 1 0 0
8 e xl 0 0 0 1 0 0 1
size_s
0 1
1 1
2 1
3 0
4 0
5 1
6 0
7 0
8 0
我在数据框中有几列 - 每列都有几个 factors/levels (10+) 。在每一列中,3-4 个因素构成了 85-90% 的值。我在数据中有几列。遍历每一列并制作前 3-4 名的虚拟变量将花费大量时间。简单地放置 get_dummies 会以指数方式增加数据的大小。是否有任何有用的方法可以建议我可以自动将前 3-4 个因素作为虚拟变量将其余因素推入每一列的“其他”类别?我正在使用 python
您可以按列查找 nlargest
,并在创建虚拟对象时将不在前 3 位的值替换为其他值。
import pandas as pd
df = pd.DataFrame({'type':['a','a','a','b','b','b','c','d','e'],
'size': ['s','s','s','m','m','s','l','l','xl']})
for col in ['type','size']:
df = pd.concat([df,
pd.get_dummies(df[col].replace(df.loc[~df[col].isin(df[col].value_counts().nlargest(3).index)][col].unique(),
'other'),
prefix=col)],
axis=1)
输出
type size type_a type_b type_c type_other size_l size_m size_other \
0 a s 1 0 0 0 0 0 0
1 a s 1 0 0 0 0 0 0
2 a s 1 0 0 0 0 0 0
3 b m 0 1 0 0 0 1 0
4 b m 0 1 0 0 0 1 0
5 b s 0 1 0 0 0 0 0
6 c l 0 0 1 0 1 0 0
7 d l 0 0 0 1 1 0 0
8 e xl 0 0 0 1 0 0 1
size_s
0 1
1 1
2 1
3 0
4 0
5 1
6 0
7 0
8 0