从另一个 DataFrame 为每一列创建唯一值的 DataFrame

Question

我有一个包含 60 多列的数据框。其中，大约一半是分类的（非数量列）。虽然，其中一些将分类数据存储为 1 和 0，因此如果数据类型为 NaN，则数据类型将为 int 或 float。

我需要创建一个新的数据框，将早期数据框中的选定列作为索引，并将唯一值作为列。

测试数据如下：

data = pd.DataFrame({'A':['A','B','C','A','B','C','D'],
                 'B':[1,0,1,0,1,0,1],
                 'C':[10,20,30,40,50,60,70],
                 'D':['Y','N','Y','N','Y','N','P']
                })

我这样做是为了从所有列中获取选定的列并为每列获取唯一值。

cols = itemgetter(0,1,3)(data.columns)
uniq_stats = pd.DataFrame(columns=['Val'],index=cols)
for each in cols:
    uniq_stats.loc[each] = ';'.join(data[each].unique())

但是，对于那些数据是分类的但存储在 1 和 0 中的列，以及那些有 Null 值的列，这会失败。

以上测试数据的预期结果：

    Val
A   A;B;C;D
B   1;0
D   Y;N;P

我应该怎么做才能得到这些？我想 Null 值是否也包含在唯一值列表中。

Answer 1

好的。我尝试了 map() 函数来执行此操作，我认为它有效。现在在唯一值列表中包括数字类别和 nan 值。

cols = itemgetter(0,1,3)(data.columns)
uniq_stats = pd.DataFrame(columns=['Val'],index=cols)
for each in cols:
    uniq_stats.loc[each] = ';'.join(map(str,data[each].unique()))

但是，如果有更好更快的方法，请分享。

Answer 2

我认为你可以将 .stack() 与 .groupby.unique()

一起使用

selected_cols = ['A','B'] 
s = data[selected_cols].stack(dropna=False).groupby(level=[1]).unique()
s.to_frame('vals')

           vals
A  [A, B, C, D]
B        [1, 0]

另一种使用 melt 的方法。

pd.melt(data).groupby('variable')['value'].unique()


variable
A                    [A, B, C, D]
B                          [1, 0]
C    [10, 20, 30, 40, 50, 60, 70]
D                       [Y, N, P]
Name: value, dtype: object

Answer 3

使用DataFrame.iloc for columns by positions and then add lambda function in DataFrame.agg:

df = data.iloc[:, [0,1,3]].agg(lambda x: ';'.join(x.astype(str).unique())).to_frame('Val')
print (df)
       Val
A  A;B;C;D
B      1;0
D    Y;N;P

类似的想法是只转换唯一值，所以应该更快：

df = data.iloc[:,[0,1,3]].agg(lambda x:';'.join(str(y) for y in x.unique())).to_frame('Val')
print (df)
       Val
A  A;B;C;D
B      1;0
D    Y;N;P

从另一个 DataFrame 为每一列创建唯一值的 DataFrame

Creating a dataframe of Unique Values for each column from another DataFrame

python-3.x

pandas

dataframe

distinct-values