使用现有数据框中的值的新数据框

Question

exdf = pd.DataFrame({'Employee name': ['Alex','Mike'],
 '2014.1': [5, 2], '2014.2': [3, 4], '2014.3': [3, 6], '2014.4': [4, 3], '2015.1': [7, 5], '2015.2': [5, 4]})
exdf


  Employee name  2014.1  2014.2  2014.3  2014.4  2015.1  2015.2
0          Alex       5       3       3       4       7       5
1          Mike       2       4       6       3       5       4

假设上面的数据框有几个这样的行和列，每个季度每个员工的输出。我想创建一个包含列的新数据框：

newdf=pd.Dataframe(columns=['Employee name','Year','Quarter','Output'])

因此，新数据帧将有 nxm 行，其中 n 和 m 是原始数据帧中的行和列。我尝试过的是使用嵌套的 for 循环填充每一行和每一列条目。

但我确信有更有效的方法。

for i in range(df.shape[0]):
    for j in range(df.shape[1]):
        newdf.iloc[?]=exdf.iloc[?]

Answer 1

使用DataFrame.melt with Series.str.split，最后更改列顺序：

df = exdf.melt('Employee name', var_name='Year', value_name='Output')
df[['Year', 'Quarter']] = df['Year'].str.split('.', expand=True)
df = df[['Employee name','Year','Quarter','Output']]
print (df)
   Employee name  Year Quarter  Output
0           Alex  2014       1       5
1           Mike  2014       1       2
2           Alex  2014       2       3
3           Mike  2014       2       4
4           Alex  2014       3       3
5           Mike  2014       3       6
6           Alex  2014       4       4
7           Mike  2014       4       3
8           Alex  2015       1       7
9           Mike  2015       1       5
10          Alex  2015       2       5
11          Mike  2015       2       4

Answer 2

将列转换为 multiIndex, using str.split, then you stack 列以获得最终输出

#set Employee name as index
exdf = exdf.set_index('Employee name')

#convert columns to multiIndex
exdf.columns = exdf.columns.str.split('.',expand = True)
exdf.columns = exdf.columns.set_names(['year','quarter'])

#stack data and give column a name
(exdf
 .stack(["year","quarter"])
 .reset_index(name='output')
)


Employee name   year    quarter output
0   Alex        2014       1    5.0
1   Alex        2014       2    3.0
2   Alex        2014       3    3.0
3   Alex        2014       4    4.0
4   Alex        2015       1    7.0
5   Alex        2015       2    5.0
6   Mike        2014       1    2.0
7   Mike        2014       2    4.0
8   Mike        2014       3    6.0
9   Mike        2014       4    3.0
10  Mike        2015       1    5.0
11  Mike        2015       2    4.0

使用 pivot_longer 可以将重塑抽象为更简单的形式：

# pip install pyjanitor
import janitor
import pandas as pd

```py
exdf.pivot_longer(
    index="Employee name", 
    names_to=("Year", "Quarter"), 
    names_sep=".", 
    values_to="Output"
    )

   Employee name  Year Quarter  Output
0           Alex  2014       1       5
1           Mike  2014       1       2
2           Alex  2014       2       3
3           Mike  2014       2       4
4           Alex  2014       3       3
5           Mike  2014       3       6
6           Alex  2014       4       4
7           Mike  2014       4       3
8           Alex  2015       1       7
9           Mike  2015       1       5
10          Alex  2015       2       5
11          Mike  2015       2       4

使用现有数据框中的值的新数据框

new dataframe using values in existing dataframe

python

pandas

dataframe

melt