如何将列转换为行？

Question

假设我有两行，其中大多数列的值相同，但并非全部。我想将这两行分组到一个值相同的行中，如果值不同，则创建一个额外的列并将列名指定为 'column1'

第 1 步：这里假设我的列在行 'a'、'b'、'c' 中具有相同的值，而具有不同值的列是 'd' ,'e','f' 所以我使用 'a','b','c' 进行分组，然后取消堆叠 'd','e','f'

第 2 步：然后我删除关卡，然后将其重命名为 'a'、'b'、'c'、'd'、'd1'、'e','e1','f','f1'

但在我的实际情况下，我有 500 多列和数百万行，我不知道如何将其扩展到 500 多列，我有这样的限制 1）我不知道哪些列将具有相同的值 2）并且所有列将具有不同的值，需要在与具有相同值的列分组后转换为新列

df.groupby(['a','b','c']) ['d','e','f'].apply(lambda x:pd.DataFrame(x.values)).unstack().reset_index()

df.columns = df.columns.droplevel()
df.columns = ['a','b','c','d','d1','e','e1','f','f1']

为了更清楚，下面的代码创建了示例数据框和预期输出

df = pd.DataFrame({'Cust_id':[100,100, 101,101,102,103,104,104], 'gender':['M', 'M', 'F','F','M','F','F','F'], 'Date':['01/01/2019', '02/01/2019','01/01/2019',
                                                                                                                   '01/01/2019','03/01/2019','04/01/2019','03/01/2019','03/01/2019'],
              'Product': ['a','a','b','c','d','d', 'e','e']})



expected_output = pd.DataFrame({'Cust_id':[100, 101,102,103,104], 'gender':['M', 'F','M','F','F'], 'Date':['01/01/2019','01/01/2019','03/01/2019','04/01/2019', '03/01/2019'], 'Date1': ['02/01/2019', 'NA','NA','NA','NA']
                                  , 'Product': ['a', 'b', 'd', 'd','e'], 'Product1':['NA', 'c','NA','NA','NA' ]})

Answer 1

您可以试试这段代码 - 它可能更简洁一些，但我认为它可以完成工作


df = pd.DataFrame({'a':[100, 100], 'b':['tue', 'tue'], 'c':['yes', 'yes'], 
                   'd':['ok', 'not ok'], 'e':['ok', 'maybe'], 'f':[55, 66]})

df_transformed = pd.DataFrame()

for column in df.columns:
    col_vals = df.groupby(column)['b'].count().index.values
    for ix, col_val in enumerate(col_vals):
        temp_df = pd.DataFrame({column + str(ix) : [col_val]})
        df_transformed = pd.concat([df_transformed, temp_df], axis = 1)

Output for df_transformed

Answer 2

您可以执行以下操作以从 df

获得 expected_output

s = df.groupby('Cust_id').cumcount().astype(str).replace('0', '')
df1 = df.pivot_table(index=['Cust_id', 'gender'], columns=s, values=['Date', 'Product'], aggfunc='first')
df1.columns = df1.columns.map(''.join)

Out[57]:
                      Date       Date1 Product Product1
Cust_id gender
100     M       01/01/2019  02/01/2019       a        a
101     F       01/01/2019  01/01/2019       b        c
102     M       03/01/2019         NaN       d      NaN
103     F       04/01/2019         NaN       d      NaN
104     F       03/01/2019  03/01/2019       e        e

接下来，将具有重复值的列替换为 NA

df_expected = df1.where(df1.ne(df1.shift(axis=1)), 'NA').reset_index()

Out[72]:
   Cust_id gender        Date       Date1 Product Product1
0      100      M  01/01/2019  02/01/2019       a       NA
1      101      F  01/01/2019          NA       b        c
2      102      M  03/01/2019          NA       d       NA
3      103      F  04/01/2019          NA       d       NA
4      104      F  03/01/2019          NA       e       NA

如何将列转换为行？

How to convert column into row?

analytics

numpy

dataframe

python-3.x

pandas