复制训练示例以处理 pandas 数据框中的 class 不平衡
Duplicating training examples to handle class imbalance in a pandas data frame
我在 pandas 中有一个包含训练示例的 DataFrame,例如:
feature1 feature2 class
0 0.548814 0.791725 1
1 0.715189 0.528895 0
2 0.602763 0.568045 0
3 0.544883 0.925597 0
4 0.423655 0.071036 0
5 0.645894 0.087129 0
6 0.437587 0.020218 0
7 0.891773 0.832620 1
8 0.963663 0.778157 0
9 0.383442 0.870012 0
我使用以下方法生成的:
import pandas as pd
import numpy as np
np.random.seed(0)
number_of_samples = 10
frame = pd.DataFrame({
'feature1': np.random.random(number_of_samples),
'feature2': np.random.random(number_of_samples),
'class': np.random.binomial(2, 0.1, size=number_of_samples),
},columns=['feature1','feature2','class'])
print(frame)
如您所见,训练集是不平衡的(8 个样本有 class 0,而只有 2 个样本有 class 1)。我想对训练集进行过度采样。具体来说,我想用 class 1 复制训练样本,以便训练集平衡(即,class 0 的样本数与 class 1).我该怎么做?
理想情况下,我想要一个可以推广到 multiclass 设置的解决方案(即 class 列中的整数可能大于 1)。
您可以通过
找到群组的最大人数
max_size = frame['class'].value_counts().max()
在您的示例中,这等于 8。对于每个组,您可以使用替换 max_size - len(group_size)
元素进行采样。这样,如果您将这些连接到原始 DataFrame,它们的大小将相同,并且您将保留原始行。
lst = [frame]
for class_index, group in frame.groupby('class'):
lst.append(group.sample(max_size-len(group), replace=True))
frame_new = pd.concat(lst)
你可以玩 max_size-len(group)
并可能添加一些噪音,因为这将使所有组大小相等。
我在 pandas 中有一个包含训练示例的 DataFrame,例如:
feature1 feature2 class
0 0.548814 0.791725 1
1 0.715189 0.528895 0
2 0.602763 0.568045 0
3 0.544883 0.925597 0
4 0.423655 0.071036 0
5 0.645894 0.087129 0
6 0.437587 0.020218 0
7 0.891773 0.832620 1
8 0.963663 0.778157 0
9 0.383442 0.870012 0
我使用以下方法生成的:
import pandas as pd
import numpy as np
np.random.seed(0)
number_of_samples = 10
frame = pd.DataFrame({
'feature1': np.random.random(number_of_samples),
'feature2': np.random.random(number_of_samples),
'class': np.random.binomial(2, 0.1, size=number_of_samples),
},columns=['feature1','feature2','class'])
print(frame)
如您所见,训练集是不平衡的(8 个样本有 class 0,而只有 2 个样本有 class 1)。我想对训练集进行过度采样。具体来说,我想用 class 1 复制训练样本,以便训练集平衡(即,class 0 的样本数与 class 1).我该怎么做?
理想情况下,我想要一个可以推广到 multiclass 设置的解决方案(即 class 列中的整数可能大于 1)。
您可以通过
找到群组的最大人数max_size = frame['class'].value_counts().max()
在您的示例中,这等于 8。对于每个组,您可以使用替换 max_size - len(group_size)
元素进行采样。这样,如果您将这些连接到原始 DataFrame,它们的大小将相同,并且您将保留原始行。
lst = [frame]
for class_index, group in frame.groupby('class'):
lst.append(group.sample(max_size-len(group), replace=True))
frame_new = pd.concat(lst)
你可以玩 max_size-len(group)
并可能添加一些噪音,因为这将使所有组大小相等。