对不平衡数据集重新采样的数据框

Question

Glass Identification Database 是一个不平衡的数据集，我想做一些重采样。

共有5种玻璃的214行数据。每种类型都有不同的行数。在下面，我想执行随机欠采样，使所有类型都达到最小数量（即每种类型只有 9 行。）

import pandas

dataset = pandas.read_csv("C:\temp\glass.csv"]), sep = ",")

dataset['Type'] = pandas.Categorical(dataset['Type']).codes

# Class count
count_class_0, count_class_1, count_class_2, count_class_3, count_class_4, count_class_5 = dataset.Type.value_counts()

# Divide by class
df_class_0 = dataset[dataset['Type'] == 0]
df_class_1 = dataset[dataset['Type'] == 1]
df_class_2 = dataset[dataset['Type'] == 2]
df_class_3 = dataset[dataset['Type'] == 3]
df_class_4 = dataset[dataset['Type'] == 4]
df_class_5 = dataset[dataset['Type'] == 5]

class_count = dataset.Type.value_counts()
print('Class 0:', class_count[0]) # 70
print('Class 1:', class_count[1]) # 76
print('Class 2:', class_count[2]) # 13
print('Class 3:', class_count[3]) # 29
print('Class 4:', class_count[4]) # 9
print('Class 5:', class_count[5]) # 17

# Random under-sampling
df_class_0_under = df_class_0.sample(count_class_4)
df_test_under = pandas.concat([df_class_0_under, df_class_4], axis=0)

print('Random under-sampling:')
print(df_test_under.Type.value_counts())

这表明它没有正确完成：

Random under-sampling:
0    13
4     9

完成它的正确方法是什么？（将所有类型都调到最小数量，即每个类型只有 9 行。）

谢谢。

Answer 1

第一个想法是使用 GroupBy.head 和最少的 Type 列计数：

dataset1 = dataset.groupby('Type').head(dataset.Type.value_counts().min())

采样使用 lambda 函数：

dataset1 = dataset.groupby('Type').apply(lambda x: x.sample(dataset.Type.value_counts().min()))

Answer 2

首先，我计算min_count_type，即9:

min_count_type = dataset.Type.value_counts().min() -> 9

然后，我得到了所有不同类型玻璃的列表：

glass_types = list(dataset.Type.unique())

然后我根据类型过滤数据集，仅对其中的 9 行进行采样。将此子数据框存储在列表中，然后连接所有子数据框：

subdatasets = list()
for glass_type in glass_types :
    dataset_glass_type = dataset[dataset['Type']==glass_type]
    dataset_glass_type = dataset_glass_type.sample(min_count_type)
    subdatasets.append(dataset_glass_type)
dataset_undersampled = pd.concat(subdatasets) -> What you want !

对不平衡数据集重新采样的数据框

Dataframe to resample an unbalanced dataset

python

pandas

dataframe

resampling