如何为 CV 保留多个模型的字典（并在循环中使用它们）

Question

我想要一个过程，其结果为我提供机器学习模型列表及其准确度分数，但仅限于给出该类型模型最佳结果的参数集。

例如，这里只是 XGBoost 的 CV：

数据集：

import numpy as np
import pandas as pd
from sklearn.datasets import load_iris
iris = load_iris()
data = pd.DataFrame(data= np.c_[iris['data'], iris['target']],
                     columns= iris['feature_names'] + ['target'])

from sklearn.model_selection import train_test_split
X = data.drop(['target'], axis=1)
y = data['target']

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)

寻找最佳参数的函数：

from sklearn.model_selection import GridSearchCV
from sklearn.metrics import accuracy_score, make_scorer
accu = make_scorer(accuracy_score) # I will be using f1 in future

def predict_for_best_params(alg, X_train, y_train, X_test):
    params = {'n_estimators': [200, 300, 500]}
    clf = GridSearchCV(alg, params, scoring = accu, cv=2)
    clf.fit(X_train, y_train)
    print(clf.best_estimator_)
    y_pred = clf.predict(X_test)
    return y_pred

在一个模型上使用它：

from xgboost import XGBClassifier
alg = [XGBClassifier()]
y_pred = predict_for_best_params(alg[0], X_train, y_train, X_test)

from sklearn.metrics import accuracy_score
print(accuracy_score(y_test, y_pred))

我想要达到的效果是这样的：

from xgboost import XGBClassifier
from sklearn.ensemble import RandomForestClassifier

alg = [XGBClassifier(), RandomForrest()] # list of many of them

alg_params = {'XGBClassifier': [{'n_estimators': [200, 300, 500]}],
             'RandomForrest': [{'max_depth ': [1, 2, 3, 4]}]}

def predict_for_best_params(alg, X_train, y_train, X_test, params):
    clf = GridSearchCV(alg, params, scoring = accu, cv=2)
    clf.fit(X_train, y_train)
    print(clf.best_estimator_)
    y_pred = clf.predict(X_test)
    return y_pred

for algo in alg:
    params = alg_params[str(algo)][0] #this won't work because str(algo) <> e.g. XGBClassifier() but XGBClassier(all default params)
    y_pred = predict_for_best_params(algo, X_train, y_train, X_test, params)
    print('{} accuracy is: {}'.format(algo, accuracy_score(y_test, y_pred)))

这是实现它的好方法吗？

Answer 1

如果你只是担心钥匙怎么放，那你可以用

params = alg_params[alg.__class__.__name__][0]

这应该 return 只是 alg 对象的 class 名称

另一种方法，你可以看看我的另一个答案：

这个答案利用了这样一个事实，即 GridSearchCV 可以采用参数组合的字典列表，其中每个列表将单独扩展。但请注意以下事项：

如果您使用 n_jobs > 1（使用多处理），这可能比您当前的 for-loop 更快。
然后您可以使用已完成 GridSearchCV 的 cv_results_ 属性来分析分数。
要计算单个估计器的 y_pred，您可以过滤 cv_results_（可能通过将其导入 pandas DataFrame），然后再次使用找到的最佳参数拟合估计器，然后计算 y_pred。但是应该很容易。

如何为 CV 保留多个模型的字典（并在循环中使用它们）

How to keep dictionaries of multiple models for CV (and use them in loop)

python

machine-learning

scikit-learn

cross-validation