如何使用 pandas+groupby+sample fraction 保留所有组,即使某些组非常小?
How to keep all groups using pandas+groupby+sample fraction even some groups are very small?
假设我有这样的数据:
df=pd.DataFrame({'a':[1,2,3,4,5,6,7,8,9,10,0,11,12],
'b':[0,0,0,0,0,0,0,0,0,0,0,0,1]})
我想使用 b 将数据分为两组并从每组中取样。您可以看到第 0 组的数据比第 1 组多得多。所以,如果我这样做:
df1=df.groupby(['b']).apply(lambda x: x.sample(frac=0.1)).reset_index(drop=True)
您会发现第 1 组无法采样。如果 frac 增加,它可能会被采样。
那么,我应该怎么做才能保留所有的组,即使它很小?
使用 sample
重新排序数据框,然后我们找到每个组的 min
计数值,然后我们可以 head
df1 = df.groupby('b').apply(lambda x: x.sample(frac=1)).reset_index(drop=True)
ming = df1.b.value_counts().min()
df1 = df1.groupby('b').head(ming)
df1
Out[287]:
a b
0 8 0
12 12 1
假设我有这样的数据:
df=pd.DataFrame({'a':[1,2,3,4,5,6,7,8,9,10,0,11,12],
'b':[0,0,0,0,0,0,0,0,0,0,0,0,1]})
我想使用 b 将数据分为两组并从每组中取样。您可以看到第 0 组的数据比第 1 组多得多。所以,如果我这样做:
df1=df.groupby(['b']).apply(lambda x: x.sample(frac=0.1)).reset_index(drop=True)
您会发现第 1 组无法采样。如果 frac 增加,它可能会被采样。
那么,我应该怎么做才能保留所有的组,即使它很小?
使用 sample
重新排序数据框,然后我们找到每个组的 min
计数值,然后我们可以 head
df1 = df.groupby('b').apply(lambda x: x.sample(frac=1)).reset_index(drop=True)
ming = df1.b.value_counts().min()
df1 = df1.groupby('b').head(ming)
df1
Out[287]:
a b
0 8 0
12 12 1