从 GridSearchCV 中提取 cross_val_predict 的最佳管道

Question

如何从拟合 GridSearchCV 中提取最佳管道，以便将其传递给 cross_val_predict？

直接传fitGridSearchCV对象导致cross_val_predict到运行再次全格搜索，我只想让最好的pipeline受制于cross_val_predict评价.

我的自包含代码如下：

from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.svm import SVC
from sklearn.multiclass import OneVsRestClassifier
from sklearn.pipeline import Pipeline
from sklearn.grid_search import GridSearchCV
from sklearn.model_selection import cross_val_predict
from sklearn.model_selection import StratifiedKFold
from sklearn import metrics

# fetch data data
newsgroups = fetch_20newsgroups(remove=('headers', 'footers', 'quotes'), categories=['comp.graphics', 'rec.sport.baseball', 'sci.med'])
X = newsgroups.data
y = newsgroups.target

# setup and run GridSearchCV
wordvect = TfidfVectorizer(analyzer='word', lowercase=True)
classifier = OneVsRestClassifier(SVC(kernel='linear', class_weight='balanced'))
pipeline = Pipeline([('vect', wordvect), ('classifier', classifier)])
scoring = 'f1_weighted'
parameters = {
            'vect__min_df': [1, 2],
            'vect__max_df': [0.8, 0.9],
            'classifier__estimator__C': [0.1, 1, 10]
            }
gs_clf = GridSearchCV(pipeline, parameters, n_jobs=8, scoring=scoring, verbose=1)
gs_clf = gs_clf.fit(X, y)

### outputs: Fitting 3 folds for each of 12 candidates, totalling 36 fits

# manually extract the best models from the grid search to re-build the pipeline
best_clf = gs_clf.best_estimator_.named_steps['classifier']
best_vectorizer = gs_clf.best_estimator_.named_steps['vect']
best_pipeline = Pipeline([('best_vectorizer', best_vectorizer), ('classifier', best_clf)])

# passing gs_clf here would run the grind search again inside cross_val_predict
y_predicted = cross_val_predict(pipeline, X, y)
print(metrics.classification_report(y, y_predicted, digits=3))

我目前正在做的是从 best_estimator_ 手动重建管道。但是我的管道通常有更多的步骤，例如 SVD 或 PCA，有时我会添加或删除步骤并重新运行网格搜索来探索数据。在下面手动重建管道时，必须始终重复此步骤，这很容易出错。

有没有办法直接从拟合 GridSearchCV 中提取最佳管道，以便我可以将其传递给 cross_val_predict？

Answer 1

y_predicted = cross_val_predict(gs_clf.best_estimator_, X, y)

有效并且 returns:

Fitting 3 folds for each of 12 candidates, totalling 36 fits
[Parallel(n_jobs=4)]: Done  36 out of  36 | elapsed:   43.6s finished
             precision    recall  f1-score   support

          0      0.920     0.911     0.916       584
          1      0.894     0.943     0.918       597
          2      0.929     0.887     0.908       594

avg / total      0.914     0.914     0.914      1775

[编辑] 当我再次尝试仅传递 pipeline（原始管道）的代码时，它返回相同的输出（传递 best_pipeline 也是如此）。因此，您可以只使用 Pipeline 本身，但我不是 100% 如此。

Answer 2

根据需要命名网格搜索对象，然后使用 fit 方法获取结果。你不需要再次交叉验证，因为 GridSearchCV 基本上是使用不同参数的交叉验证（仅供参考，你可以在 GridSearchCV 中命名你自己的 cv 对象，检查 sklearn 文档中的 GridSearchCV）。

any_name = sklearn.grid_search.GridSearchCV(pipeline, param_grid=parameters)
any_name.fit(X_train, y_train)

下面是 link 我发现的一个很好的指南： https://www.civisanalytics.com/blog/workflows-in-python-using-pipeline-and-gridsearchcv-for-more-compact-and-comprehensive-code/

第一次回答，希望对你有帮助。

从 GridSearchCV 中提取 cross_val_predict 的最佳管道

Extract best pipeline from GridSearchCV for cross_val_predict

python

machine-learning

scikit-learn

grid-search