当并非所有类别都存在于多个特征和数据集中时的虚拟变量

Question

我想询问的扩展，它讨论了为缺失的类添加标签以确保将假人正确编码为空白。

有没有办法跨多组数据自动执行此操作并让标签在两者之间自动同步？（即测试和训练集）。 IE。相同的列，但每个列中表示的数据不同类?

例如：假设我有以下两个数据框：

df1 = pd.DataFrame.from_items([('col1', list('abc')), ('col2', list('123'))])
df2 = pd.DataFrame.from_items([('col1', list('bcd')), ('col2', list('234'))])   

df1
   col1   col2 
1   a     1
2   b     2    
3   c     3
df2
   col1    col2
1   b      2
2   c      3
3   d      4

我想要：

df1
    col1_a col1_b col1_c col1_d col2_1 col2_2 col2_3 col2_4
1   1      0      0      0      1      0      0      0      
2   0      1      0      0      0      1      0      0
3   0      0      1      0      0      0      1      0

df2
    col1_a col1_b col1_c col1_d col2_1 col2_2 col2_3 col2_4
1   0      1      0      0      0      1      0      0
2   0      0      1      0      0      0      1      0
3   0      0      0      1      0      0      0      1

无需事先指定
col1_labels = ['a', 'b', 'c', 'd'], col2_labels = ['1', '2', '3', '4']

我可以一次系统地为许多专栏执行此操作吗？我在想象一个函数，当传入两个或多个数据帧时（假设所有列都相同）：

读取 pandas 数据框中的哪些列是类别
找出整体标签是什么
然后为每一列提供类别标签这看起来对吗？有没有更好的方法？

Answer 1

如果两个 Dataframe 中的分类列名称相同，我认为您需要 reindex 通过合并所有列：

print (df1)  
  df1
1   a
2   b
3   c

print (df2)
  df1
1   b
2   c
3   d

df1 = pd.get_dummies(df1)
df2 = pd.get_dummies(df2)

union = df1.columns | df2.columns
df1 = df1.reindex(columns=union, fill_value=0)
df2 = df2.reindex(columns=union, fill_value=0)
print (df1)
   df1_a  df1_b  df1_c  df1_d
1      1      0      0      0
2      0      1      0      0
3      0      0      1      0
print (df2)
   df1_a  df1_b  df1_c  df1_d
1      0      1      0      0
2      0      0      1      0
3      0      0      0      1

当并非所有类别都存在于多个特征和数据集中时的虚拟变量

Dummy variables when not all categories are present across multiple features & data sets

python

pandas

machine-learning

dummy-variable