转换特征后如何使用交叉验证

Question

我有包含分类值和非分类值的数据集。我为分类值应用了 OneHotEncoder，为连续值应用了 StandardScaler。

transformerVectoriser = ColumnTransformer(transformers=[('Vector Cat', OneHotEncoder(handle_unknown = "ignore"), ['A', 'B', 'C']),
                                                        ('StandardScaler', StandardScaler(), ['D', 'E'])],
                                          remainder='passthrough') # Default is to drop untransformed columns

现在我想对我的模型进行交叉验证，但问题是，我应该转换我的特征吗？我该怎么做？我的意思是，我需要转换我的数据，因为这是处理分类值的唯一方法。我知道我应该 fit_transform 我的训练数据和 transform 我的测试数据，但我如何在交叉验证中管理它？

现在，我这样做了：

features = transformerVectoriser.fit_transform(features)

clf = RandomForestClassifier()
cv_score = cross_val_score(clf, features, results, cv=5)
print(cv_score)

但我认为这是不正确的，因为 fit_transform 将应用于测试折叠和训练折叠，并且它应该是 fit_transform 在训练集中和 transform 在测试集中. 我应该只拟合数据，还是只转换数据，或者第三种？

Answer 1

desertnaut 已经在他的评论中戏弄了答案。我将解释并完成：

当你想交叉验证几个数据处理步骤和一个估计器时，最好的方法是使用 Pipeline 对象。根据 user guide，Pipeline 有多种用途，其中之一是安全:

Pipelines help avoid leaking statistics from your test data into the trained model in cross-validation, by ensuring that the same samples are used to train the transformers and predictors.

使用上面的定义，您可以按以下方式将转换和分类器包装在 Pipeline 中：

from sklearn.pipeline import Pipeline


pipeline = Pipeline([
    ('transformer', transformerVectoriser),
    ('classifier', clf)
])

管道中的步骤现在可以一起交叉验证：

cv_score = cross_val_score(pipeline, features, results, cv=5)
print(cv_score)

这将确保管道中的所有转换器和最终估计器仅根据训练数据进行拟合和转换，并且在每次迭代中仅对测试数据调用转换和预测方法。

如果您想了解更多关于 Pipeline 用法的信息，请查看 documentation。

转换特征后如何使用交叉验证

How to use Cross-Validation after transforming features

python

machine-learning

scikit-learn

cross-validation