SciKit-Learn 中的自定义记分器 - 允许针对特定 class 进行网格搜索优化

Question

我想在 SciKit-Learn 中创建一个自定义评分器，我可以将其传递给 GridSearchCV，它根据特定 class 的预测准确性评估模型性能。

假设我的训练数据包含属于三个 classes 之一的数据点：

'dog', 'cat', 'mouse'

# Create a classifier:
clf = ensemble.RandomForestClassifier()

# Set up some parameters to explore:
param_dist =    {
                 'n_estimators':[500, 1000, 2000, 4000],
                 "criterion": ["gini", "entropy"],
                 'bootstrap':[True, False]
                }

# Construct grid search
search = GridSearchCV(clf,\
                      param_grid=param_dist,\
                      cv=StratifiedKFold(y, n_folds=10),\
                      scoring=my_scoring_function)


# Perform search
X = training_data
y = ground_truths
search.fit(X, y)

有没有一种方法可以构造 my_scoring_function，以便只返回 'dog' class 的预测准确度？ make_scorer function 似乎有局限性，因为它只处理基本事实和每个数据点的预测 class。

非常感谢您的帮助！

Answer 1

我错过了 sklearn 文档中的一个部分。

您可以创建一个需要以下输入的函数；模型，x_test，y_test，并输出一个介于 0 和 1 之间的值（其中 1 最好），可用作优化函数。

只需创建函数，应用 model.predict(x_test)，然后使用准确度等指标分析结果。

SciKit-Learn 中的自定义记分器 - 允许针对特定 class 进行网格搜索优化

Custom scorer in SciKit-Learn - allow grid search optimisation for a particular class

python

machine-learning

scikit-learn

cross-validation