如何在应用分层 k 折交叉验证后将数据拆分为测试和训练？

Question

我已经使用以下代码将列分配给他们特定的 k 折：

from sklearn.model_selection import StratifiedKFold, train_test_split

# Stratified K-fold cross-validation 
df['kfold'] = -1
df = df.sample(frac=1).reset_index(drop=True)
y = df.quality
kf = StratifiedKFold(n_splits=5)

for f, (t_,v_) in enumerate(kf.split(X=df, y=y)):
  df.loc[v_, 'kfold'] = f

现在数据框符合预期：


        alcohol  volatile acidity   sulphates citric acid   quality kfold
1499    10.9            0.36          0.73        0.39          6   4
1500    9.5             0.65          0.55        0.10          5   4
1501    13.4            0.44          0.66        0.68          6   4
1502    9.6             0.59          0.67        0.24          5   4
1503    13.0            0.53          0.77        0.79          5   4

但我如何将其拆分为训练和测试拆分？

Answer 1

StratifiedKFold 会将数据帧拆分为多个折叠，return training/test 索引。每个折叠将有一部分用于测试（大小为 len(data)/n），其余部分将用于训练。

在您的 for 循环中，您可以按如下方式访问训练集和测试集：

for f, (t_,v_) in enumerate(kf.split(X=df, y=y)):
  df_train = df.loc[t_]
  df_test = df.loc[v_]

如您所见，您添加的 kfold 列标记了测试数据。其余数据应该用于此折叠的训练。即，对于 kfold == 1，训练数据是所有其他数据 (kfold != 1)。

如何在应用分层 k 折交叉验证后将数据拆分为测试和训练？

How to split data into test and train after applying stratified k-fold cross validation?

python

pandas

scikit-learn

k-fold