pandas groupby 在组内排序
pandas groupby sort within groups
我想按两列对我的数据框进行分组,然后对组内的聚合结果进行排序。
In [167]: df
Out[167]:
count job source
0 2 sales A
1 4 sales B
2 6 sales C
3 3 sales D
4 7 sales E
5 5 market A
6 3 market B
7 2 market C
8 4 market D
9 1 market E
In [168]: df.groupby(['job','source']).agg({'count':sum})
Out[168]:
count
job source
market A 5
B 3
C 2
D 4
E 1
sales A 2
B 4
C 6
D 3
E 7
我现在想在每个组中按降序对计数列进行排序。然后只取前三行。得到类似的东西:
count
job source
market A 5
D 4
B 3
sales E 7
C 6
B 4
你想做的实际上又是一个 groupby(在第一个 groupby 的结果上):排序并取每组的前三个元素。
从第一个groupby的结果开始:
In [60]: df_agg = df.groupby(['job','source']).agg({'count':sum})
我们按索引的第一层分组:
In [63]: g = df_agg['count'].groupby('job', group_keys=False)
然后我们要对每组进行排序('order'),取前三个元素:
In [64]: res = g.apply(lambda x: x.sort_values(ascending=False).head(3))
但是,为此,有一个快捷功能可以做到这一点,nlargest
:
In [65]: g.nlargest(3)
Out[65]:
job source
market A 5
D 4
B 3
sales E 7
C 6
B 4
dtype: int64
所以一口气,这看起来像:
df_agg['count'].groupby('job', group_keys=False).nlargest(3)
您也可以一次完成,首先进行排序,然后使用 head 获取每组的前 3 个。
In[34]: df.sort_values(['job','count'],ascending=False).groupby('job').head(3)
Out[35]:
count job source
4 7 sales E
2 6 sales C
1 4 sales B
5 5 market A
8 4 market D
6 3 market B
这是另一个按排序顺序排在前 3 位并在组内排序的示例:
In [43]: import pandas as pd
In [44]: df = pd.DataFrame({"name":["Foo", "Foo", "Baar", "Foo", "Baar", "Foo", "Baar", "Baar"], "count_1":[5,10,12,15,20,25,30,35], "count_2" :[100,150,100,25,250,300,400,500]})
In [45]: df
Out[45]:
count_1 count_2 name
0 5 100 Foo
1 10 150 Foo
2 12 100 Baar
3 15 25 Foo
4 20 250 Baar
5 25 300 Foo
6 30 400 Baar
7 35 500 Baar
### Top 3 on sorted order:
In [46]: df.groupby(["name"])["count_1"].nlargest(3)
Out[46]:
name
Baar 7 35
6 30
4 20
Foo 5 25
3 15
1 10
dtype: int64
### Sorting within groups based on column "count_1":
In [48]: df.groupby(["name"]).apply(lambda x: x.sort_values(["count_1"], ascending = False)).reset_index(drop=True)
Out[48]:
count_1 count_2 name
0 35 500 Baar
1 30 400 Baar
2 20 250 Baar
3 12 100 Baar
4 25 300 Foo
5 15 25 Foo
6 10 150 Foo
7 5 100 Foo
如果您不需要对列求和,请使用@tvashtar 的答案。如果您确实需要求和,那么您可以使用@joris 的答案或与它非常相似的答案。
df.groupby(['job']).apply(lambda x: (x.groupby('source')
.sum()
.sort_values('count', ascending=False))
.head(3))
试试这个,这是一种按降序进行 groupby 和排序的简单方法:
df.groupby(['companyName'])['overallRating'].sum().sort_values(ascending=False).head(20)
你可以一行完成 -
df.groupby(['job']).apply(lambda x: x.sort_values(['count'], ascending=False).head(3)
.drop('job', axis=1))
apply() 的作用是获取每组 groupby 并将其分配给 lambda 函数中的 x。
我在没有使用“by”的情况下遇到了这个错误:
TypeError:sort_values() 缺少 1 个必需的位置参数:'by'
所以,我把它改成了这个,现在可以用了:
df.groupby(['job','source']).agg({'count':sum}).sort_values(by='count',ascending=False).head(20)
@joris 的回答帮了大忙。
这对我有用。
df.groupby(['job'])['count'].nlargest(3)
当分组数据框包含多个分组列时,其他方法会删除其他列。
edf = pd.DataFrame({"job":["sales", "sales", "sales", "sales", "sales",
"market", "market", "market", "market", "market"],
"source":["A", "B", "C", "D", "E", "A", "B", "C", "D", "E"],
"count":[2, 4,6,3,7,5,3,2,4,1],
"other_col":[1,2,3,4,56,6,3,4,6,11]})
gdf = edf.groupby(["job", "source"]).agg({"count":sum, "other_col":np.mean})
gdf.groupby(level=0, group_keys=False).apply(lambda g:g.sort_values("count", ascending=False))
这会保留 other_col
以及每个组中 count
列的排序
我想按两列对我的数据框进行分组,然后对组内的聚合结果进行排序。
In [167]: df
Out[167]:
count job source
0 2 sales A
1 4 sales B
2 6 sales C
3 3 sales D
4 7 sales E
5 5 market A
6 3 market B
7 2 market C
8 4 market D
9 1 market E
In [168]: df.groupby(['job','source']).agg({'count':sum})
Out[168]:
count
job source
market A 5
B 3
C 2
D 4
E 1
sales A 2
B 4
C 6
D 3
E 7
我现在想在每个组中按降序对计数列进行排序。然后只取前三行。得到类似的东西:
count
job source
market A 5
D 4
B 3
sales E 7
C 6
B 4
你想做的实际上又是一个 groupby(在第一个 groupby 的结果上):排序并取每组的前三个元素。
从第一个groupby的结果开始:
In [60]: df_agg = df.groupby(['job','source']).agg({'count':sum})
我们按索引的第一层分组:
In [63]: g = df_agg['count'].groupby('job', group_keys=False)
然后我们要对每组进行排序('order'),取前三个元素:
In [64]: res = g.apply(lambda x: x.sort_values(ascending=False).head(3))
但是,为此,有一个快捷功能可以做到这一点,nlargest
:
In [65]: g.nlargest(3)
Out[65]:
job source
market A 5
D 4
B 3
sales E 7
C 6
B 4
dtype: int64
所以一口气,这看起来像:
df_agg['count'].groupby('job', group_keys=False).nlargest(3)
您也可以一次完成,首先进行排序,然后使用 head 获取每组的前 3 个。
In[34]: df.sort_values(['job','count'],ascending=False).groupby('job').head(3)
Out[35]:
count job source
4 7 sales E
2 6 sales C
1 4 sales B
5 5 market A
8 4 market D
6 3 market B
这是另一个按排序顺序排在前 3 位并在组内排序的示例:
In [43]: import pandas as pd
In [44]: df = pd.DataFrame({"name":["Foo", "Foo", "Baar", "Foo", "Baar", "Foo", "Baar", "Baar"], "count_1":[5,10,12,15,20,25,30,35], "count_2" :[100,150,100,25,250,300,400,500]})
In [45]: df
Out[45]:
count_1 count_2 name
0 5 100 Foo
1 10 150 Foo
2 12 100 Baar
3 15 25 Foo
4 20 250 Baar
5 25 300 Foo
6 30 400 Baar
7 35 500 Baar
### Top 3 on sorted order:
In [46]: df.groupby(["name"])["count_1"].nlargest(3)
Out[46]:
name
Baar 7 35
6 30
4 20
Foo 5 25
3 15
1 10
dtype: int64
### Sorting within groups based on column "count_1":
In [48]: df.groupby(["name"]).apply(lambda x: x.sort_values(["count_1"], ascending = False)).reset_index(drop=True)
Out[48]:
count_1 count_2 name
0 35 500 Baar
1 30 400 Baar
2 20 250 Baar
3 12 100 Baar
4 25 300 Foo
5 15 25 Foo
6 10 150 Foo
7 5 100 Foo
如果您不需要对列求和,请使用@tvashtar 的答案。如果您确实需要求和,那么您可以使用@joris 的答案或与它非常相似的答案。
df.groupby(['job']).apply(lambda x: (x.groupby('source')
.sum()
.sort_values('count', ascending=False))
.head(3))
试试这个,这是一种按降序进行 groupby 和排序的简单方法:
df.groupby(['companyName'])['overallRating'].sum().sort_values(ascending=False).head(20)
你可以一行完成 -
df.groupby(['job']).apply(lambda x: x.sort_values(['count'], ascending=False).head(3)
.drop('job', axis=1))
apply() 的作用是获取每组 groupby 并将其分配给 lambda 函数中的 x。
我在没有使用“by”的情况下遇到了这个错误:
TypeError:sort_values() 缺少 1 个必需的位置参数:'by'
所以,我把它改成了这个,现在可以用了:
df.groupby(['job','source']).agg({'count':sum}).sort_values(by='count',ascending=False).head(20)
@joris 的回答帮了大忙。 这对我有用。
df.groupby(['job'])['count'].nlargest(3)
当分组数据框包含多个分组列时,其他方法会删除其他列。
edf = pd.DataFrame({"job":["sales", "sales", "sales", "sales", "sales",
"market", "market", "market", "market", "market"],
"source":["A", "B", "C", "D", "E", "A", "B", "C", "D", "E"],
"count":[2, 4,6,3,7,5,3,2,4,1],
"other_col":[1,2,3,4,56,6,3,4,6,11]})
gdf = edf.groupby(["job", "source"]).agg({"count":sum, "other_col":np.mean})
gdf.groupby(level=0, group_keys=False).apply(lambda g:g.sort_values("count", ascending=False))
这会保留 other_col
以及每个组中 count
列的排序