pandas: 如何运行 具有多索引的主元?
pandas: how to run a pivot with a multi-index?
我想 运行 pandas DataFrame
上的一个主元,索引是两列,而不是一列。例如,一个字段代表年份,一个字段代表月份,一个显示 'item 1' 和 'item 2' 的 'item' 字段以及一个带有数值的 'value' 字段。我希望索引是年+月。
我设法让它工作的唯一方法是将两个字段合并为一个,然后再次将它们分开。有没有更好的方法?
下面复制了最少的代码。非常感谢!
PS 是的,我知道关键字 'pivot' 和 'multi-index' 还有其他问题,但我不明白 if/how 他们可以帮我解决这个问题问题。
import pandas as pd
import numpy as np
df= pd.DataFrame()
month = np.arange(1, 13)
values1 = np.random.randint(0, 100, 12)
values2 = np.random.randint(200, 300, 12)
df['month'] = np.hstack((month, month))
df['year'] = 2004
df['value'] = np.hstack((values1, values2))
df['item'] = np.hstack((np.repeat('item 1', 12), np.repeat('item 2', 12)))
# This doesn't work:
# ValueError: Wrong number of items passed 24, placement implies 2
# mypiv = df.pivot(['year', 'month'], 'item', 'value')
# This doesn't work, either:
# df.set_index(['year', 'month'], inplace=True)
# ValueError: cannot label index with a null key
# mypiv = df.pivot(columns='item', values='value')
# This below works but is not ideal:
# I have to first concatenate then separate the fields I need
df['new field'] = df['year'] * 100 + df['month']
mypiv = df.pivot('new field', 'item', 'value').reset_index()
mypiv['year'] = mypiv['new field'].apply( lambda x: int(x) / 100)
mypiv['month'] = mypiv['new field'] % 100
您可以分组然后取消堆叠。
>>> df.groupby(['year', 'month', 'item'])['value'].sum().unstack('item')
item item 1 item 2
year month
2004 1 33 250
2 44 224
3 41 268
4 29 232
5 57 252
6 61 255
7 28 254
8 15 229
9 29 258
10 49 207
11 36 254
12 23 209
或使用pivot_table
:
>>> df.pivot_table(
values='value',
index=['year', 'month'],
columns='item',
aggfunc=np.sum)
item item 1 item 2
year month
2004 1 33 250
2 44 224
3 41 268
4 29 232
5 57 252
6 61 255
7 28 254
8 15 229
9 29 258
10 49 207
11 36 254
12 23 209
我相信如果您在 MultiIndex 中包含 item
,那么您就可以取消堆叠:
df.set_index(['year', 'month', 'item']).unstack(level=-1)
这产生:
value
item item 1 item 2
year month
2004 1 21 277
2 43 244
3 12 262
4 80 201
5 22 287
6 52 284
7 90 249
8 14 229
9 52 205
10 76 207
11 88 259
12 90 200
它比使用 pivot_table
快一点,与使用 groupby
速度差不多或稍慢。
感谢 gmoutso comment 你可以使用这个:
def multiindex_pivot(df, index=None, columns=None, values=None):
if index is None:
names = list(df.index.names)
df = df.reset_index()
else:
names = index
list_index = df[names].values
tuples_index = [tuple(i) for i in list_index] # hashable
df = df.assign(tuples_index=tuples_index)
df = df.pivot(index="tuples_index", columns=columns, values=values)
tuples_index = df.index # reduced
index = pd.MultiIndex.from_tuples(tuples_index, names=names)
df.index = index
return df
用法:
df.pipe(multiindex_pivot, index=['idx_column1', 'idx_column2'], columns='foo', values='bar')
您可能希望有一个简单的平面列结构并且列是它们的预期类型,只需添加:
(df
.infer_objects() # coerce to the intended column type
.rename_axis(None, axis=1)) # flatten column headers
以下对我有用:
mypiv = df.pivot(index=['year','month'],columns='item')[['values1','values2']]
我想 运行 pandas DataFrame
上的一个主元,索引是两列,而不是一列。例如,一个字段代表年份,一个字段代表月份,一个显示 'item 1' 和 'item 2' 的 'item' 字段以及一个带有数值的 'value' 字段。我希望索引是年+月。
我设法让它工作的唯一方法是将两个字段合并为一个,然后再次将它们分开。有没有更好的方法?
下面复制了最少的代码。非常感谢!
PS 是的,我知道关键字 'pivot' 和 'multi-index' 还有其他问题,但我不明白 if/how 他们可以帮我解决这个问题问题。
import pandas as pd
import numpy as np
df= pd.DataFrame()
month = np.arange(1, 13)
values1 = np.random.randint(0, 100, 12)
values2 = np.random.randint(200, 300, 12)
df['month'] = np.hstack((month, month))
df['year'] = 2004
df['value'] = np.hstack((values1, values2))
df['item'] = np.hstack((np.repeat('item 1', 12), np.repeat('item 2', 12)))
# This doesn't work:
# ValueError: Wrong number of items passed 24, placement implies 2
# mypiv = df.pivot(['year', 'month'], 'item', 'value')
# This doesn't work, either:
# df.set_index(['year', 'month'], inplace=True)
# ValueError: cannot label index with a null key
# mypiv = df.pivot(columns='item', values='value')
# This below works but is not ideal:
# I have to first concatenate then separate the fields I need
df['new field'] = df['year'] * 100 + df['month']
mypiv = df.pivot('new field', 'item', 'value').reset_index()
mypiv['year'] = mypiv['new field'].apply( lambda x: int(x) / 100)
mypiv['month'] = mypiv['new field'] % 100
您可以分组然后取消堆叠。
>>> df.groupby(['year', 'month', 'item'])['value'].sum().unstack('item')
item item 1 item 2
year month
2004 1 33 250
2 44 224
3 41 268
4 29 232
5 57 252
6 61 255
7 28 254
8 15 229
9 29 258
10 49 207
11 36 254
12 23 209
或使用pivot_table
:
>>> df.pivot_table(
values='value',
index=['year', 'month'],
columns='item',
aggfunc=np.sum)
item item 1 item 2
year month
2004 1 33 250
2 44 224
3 41 268
4 29 232
5 57 252
6 61 255
7 28 254
8 15 229
9 29 258
10 49 207
11 36 254
12 23 209
我相信如果您在 MultiIndex 中包含 item
,那么您就可以取消堆叠:
df.set_index(['year', 'month', 'item']).unstack(level=-1)
这产生:
value
item item 1 item 2
year month
2004 1 21 277
2 43 244
3 12 262
4 80 201
5 22 287
6 52 284
7 90 249
8 14 229
9 52 205
10 76 207
11 88 259
12 90 200
它比使用 pivot_table
快一点,与使用 groupby
速度差不多或稍慢。
感谢 gmoutso comment 你可以使用这个:
def multiindex_pivot(df, index=None, columns=None, values=None):
if index is None:
names = list(df.index.names)
df = df.reset_index()
else:
names = index
list_index = df[names].values
tuples_index = [tuple(i) for i in list_index] # hashable
df = df.assign(tuples_index=tuples_index)
df = df.pivot(index="tuples_index", columns=columns, values=values)
tuples_index = df.index # reduced
index = pd.MultiIndex.from_tuples(tuples_index, names=names)
df.index = index
return df
用法:
df.pipe(multiindex_pivot, index=['idx_column1', 'idx_column2'], columns='foo', values='bar')
您可能希望有一个简单的平面列结构并且列是它们的预期类型,只需添加:
(df
.infer_objects() # coerce to the intended column type
.rename_axis(None, axis=1)) # flatten column headers
以下对我有用:
mypiv = df.pivot(index=['year','month'],columns='item')[['values1','values2']]