如何将数据集拆分为某些行相关的 train/test？

Question

我有一个主题数据集，每个主题在我的 pandas 数据框中都有许多行（每个测量都是一行，一个主题可以测量几次）。我想将我的数据分成训练集和测试集，但我不能随机分割，因为所有受试者的测量值都是相关的（不能将同一受试者放入训练和测试中）。你会如何解决这个问题？我有一个 pandas 数据框，每个主题都有不同数量的测量值。

编辑：我的数据包括每行的主题编号，我希望拆分尽可能接近 0.8/0.2。

Answer 1

考虑带有列 user_id 的数据框 df 来识别用户。

df = pd.DataFrame(
    np.random.randint(5, size=(100, 4)), columns=['user_id'] + list('ABC')
)

您想识别唯一用户并随机 select 一些。然后拆分您的数据框，以便将所有测试用户放在一个中，将训练用户放在另一个中。

unique_users = df['user_id'].unique()
train_users, test_users = np.split(
    np.random.permutation(unique_users), [int(.8 * len(unique_users))]
)

df_train = df[df['user_id'].isin(train_users)]
df_test = df[df['user_id'].isin(test_users)]

这应该大致将您的数据分成 80/20。

但是，如果您想尽可能保持平衡，则必须逐步添加用户。

unique_users = df['user_id'].unique()
target_n = int(.8 * len(df))
shuffled_users = np.random.permutation(unique_users)

user_count = df['user_id'].value_counts()

mapping = user_count.reindex(shuffled_users).cumsum() <= target_n
mask = df['user_id'].map(mapping)

df_train = df[mask]
df_test = df[~mask]

如何将数据集拆分为某些行相关的 train/test？

How to split a dataset to train/test where some rows are dependent?

python

pandas

train-test-split