如何从 GridsearchCV 获取 feature_importances_

Question

我对编程还很陌生，这个问题可能很容易解决，但我已经坚持了一段时间，我认为我的方法显然是错误的。正如标题所示，我一直在尝试对我的 RandomForest 预测实施网格搜索，以便为我的模型找到可能的最佳参数，然后使用最佳参数查看模型最重要的特征。我用过的包：

import nltk
from nltk.corpus import stopwords
import pandas as pd
import string
import re
import pickle
import os
import numpy as np
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import KFold, cross_val_score
from sklearn.metrics import precision_recall_fscore_support as score
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV

经过一些数据清理和预处理后，我做了一个这样的网格搜索，其中 x_features 是具有我数据的 tfidfvectorized 特征的 DataFrame：

param = {'n_estimators':[10, 50, 150], 'max_depth':[10, 30, 50, None], 'min_impurity_decrease':[0, 0.01, 0.05, 0.1], 'class_weight':["balanced", None]}
gs = GridSearchCV(rf, param, cv=5, n_jobs=-1)
gs_fit = gs.fit(x_features, mydata['label'])
optimal_param = pd.DataFrame(gs_fit.cv_results_).sort_values('mean_test_score', ascending = False)[0:5]
optimal_param1 = gs_fit.best_params_

我的想法是，也许我可以让自己轻松一点，然后将 optimal_param1 复制到我的 RandomForestClassifier() 中，然后或多或少像这样将其拟合到我的训练数据中：

rf = RandomForestClassifier(optimal_param2)
rf_model= rf.fit(x_train, y_train)

但 optimal_param2 是一个命令。因此，我认为将它转换为一个字符串并去掉太多的符号（ sub : for =, delete {, delete } ）会让它起作用。这显然失败了，因为 n_estimators、max_depth 等的数字仍然是字符串，它需要整数。我最终想要实现的是或多或少地获得最重要功能的输出：

top25_features = sorted(zip(rf_model.feature_importances_, x_train.columns),reverse=True)[0:25]

我意识到 gs 已经是一个完整的 RF 模型，但它没有我正在寻找的属性 feature_importances_。我将非常感谢任何关于如何让它发挥作用的想法。

Answer 1

一旦您拥有运行 gs_fit=gs.fit(X,y)，您便拥有了所需的一切，无需进行任何再培训。

首先，您可以通过以下方式访问最佳模型：

best_estimator = gs_fit.best_estimator_

这将返回产生最佳结果的随机森林。然后你可以通过

访问这个模型的特征重要性

best_features = best_estimator.feature_importances_

显然，您可以链接这些并直接执行：

best_features = gs_fit.best_estimator_.feature_importances_

如何从 GridsearchCV 获取 feature_importances_

How do I get feature_importances_ from GridsearchCV

python

scikit-learn

random-forest

text-mining

gridsearchcv