Python sklearn：fit_transform() 不适用于 GridSearchCV

Question

我正在创建一个 GridSearchCV 分类器作为

pipeline = Pipeline([
    ('vect', TfidfVectorizer(stop_words='english',sublinear_tf=True)),
    ('clf', LogisticRegression())
    ])

parameters= {}

gridSearchClassifier = GridSearchCV(pipeline, parameters, n_jobs=3, verbose=1, scoring='accuracy')
    # Fit/train the gridSearchClassifier on Training Set
    gridSearchClassifier.fit(Xtrain, ytrain)

这个效果很好，我可以预测。但是，现在我想重新训练分类器。为此，我想对一些反馈数据做一个fit_transform()。

    gridSearchClassifier.fit_transform(Xnew, yNew)

但是我得到这个错误

AttributeError: 'GridSearchCV' object has no attribute 'fit_transform'

基本上我正在尝试 fit_transform() 分类器的内部 TfidfVectorizer。我知道我可以使用 named_steps 属性访问 Pipeline 的内部组件。我可以为 gridSearchClassifier 做类似的事情吗？

Answer 1

一步步调用即可。

gridSearchClassifier.fit(Xnew, yNew)
transformed = gridSearchClassifier.transform(Xnew)

fit_transform无非就是这两行代码，根本没有实现为GridSearchCV.

的单一方法

更新

从评论来看，您似乎有点迷失了 GridSearchCV 的实际功能。这是一个 meta-method 来拟合具有多个超参数的模型。因此，一旦您调用 fit ，您就会在对象的 best_estimator_ 字段中获得一个估算器。在你的情况下 - 它是一个管道，你可以像往常一样提取它的任何部分，因此

gridSearchClassifier.fit(Xtrain, ytrain)
clf = gridSearchClassifier.best_estimator_
# do something with clf, its elements etc. 
# for example print clf.named_steps['vect']

你应该不使用 gridsearchcv 作为分类器，这只是一种拟合超参数的方法，一旦你找到它们，你应该使用 best_estimator_ 代替。但是，请记住，如果你改装 TFIDF 向量化器，那么你的分类器将毫无用处；您不能更改数据表示并期望旧模型运行良好，一旦数据更改，您必须重新调整整个分类器（除非这是经过精心设计的更改，并且您确保旧尺寸意味着完全相同 - sklearn 不支持此类操作，你将不得不从头开始实施。

Answer 2

@lejot 是正确的，您应该在 gridSearchClassifier 上调用 fit()。

前提是 GridSearchCV 上设置了 refit=True，这是默认设置，您可以在 gridSearchClassifier.

上访问 best_estimator_

您可以访问已安装的步骤：

tfidf = gridSearchClassifier.best_estimator_.named_steps['vect']
clf = gridSearchClassifier.best_estimator_.named_steps['clf']

然后您可以使用以下方法转换 new_X 中的新文本：

X_vec = tfidf.transform(new_X)

您可以使用此 X_vec 进行预测：

x_pred = clf.predict(X_vec)

您还可以对通过整个管道的文本进行预测。

X_pred = gridSearchClassifier.predict(new_X)

Python sklearn：fit_transform() 不适用于 GridSearchCV

Python sklearn : fit_transform() does not work for GridSearchCV

python

machine-learning

scikit-learn

grid-search

更新