为什么 GridSearchCV 模型结果与我手动调整的模型不同？
Why GridSearchCV model results are different than the model I manually tuned?
这是我在这里的第一个问题，希望我做对了，
我正在研究在 kaggle 上很流行的 titanic 数据集，如果你想检查这个 tutarial A Data Science Framework: To Achieve 99% Accuracy
第 5.2 部分，它教授如何进行网格搜索和调整超参数。在具体说明我的问题之前，让我与您分享相关代码；
这是使用 GridSearchCV 调整模型：
cv_split = model_selection.ShuffleSplit(n_splits = 10, test_size = .3, train_size = .6, random_state = 0)
#cv_split = model_selection.KFold(n_splits=10, shuffle=False, random_state=None)
param_grid = {'criterion': ['gini', 'entropy'],
'splitter': ['best', 'random'], #splitting methodology; two supported strategies - default is best
'max_depth': [2,4,6,8,10,None], #max depth tree can grow; default is none
'min_samples_split': [2,5,10,.03,.05], #minimum subset size BEFORE new split (fraction is % of total); default is 2
'min_samples_leaf': [1,5,10,.03,.05], #minimum subset size AFTER new split split (fraction is % of total); default is 1
'max_features': [None, 'auto'], #max features to consider when performing split; default none or all
'random_state': [0] }
tune_model = model_selection.GridSearchCV(tree.DecisionTreeClassifier(), param_grid=param_grid, scoring = 'roc_auc', return_train_score = True ,cv = cv_split)
tune_model.fit(data1[data1_x_bin], data1[Target])`
tune_model.best_params_
result is:
{'criterion': 'gini',
'max_depth': 4,
'max_features': None,
'min_samples_leaf': 5,
'min_samples_split': 2,
'random_state': 0,
'splitter': 'best'}
并且根据代码，训练和测试准确度应该是这样的：
print(tune_model.cv_results_['mean_train_score'][tune_model.best_index_], tune_model.cv_results_['mean_test_score'][tune_model.best_index_])
此输出：0.8924916598172832 0.8767742588186237
出于好奇，我想用我从 GridSearchCV 获得的参数制作我自己的 DecisionTreeClassifier()，
dtree = tree.DecisionTreeClassifier(criterion = 'gini',max_depth = 4,max_features= None, min_samples_leaf= 5, min_samples_split= 2,random_state = 0, splitter ='best')
results = model_selection.cross_validate(dtree, data1[data1_x_bin], data1[Target],return_train_score = True, cv = cv_split)
相同的超参数，相同的交叉验证数据帧，不同的结果。为什么？
print(results['train_score'].mean(), results['test_score'].mean())
0.8387640449438202 0.8227611940298509
那个是 tune_model 结果：
0.8924916598172832 0.8767742588186237
差别还不小。如果你问我，两个结果应该是一样的，
我不明白有什么不同？有什么不同所以结果不同？
我尝试使用 k-fold 而不是 shufflesplit 进行交叉验证，
在这两种情况下我都尝试了不同的 random_state 值，也尝试了 random_state = None,
仍然是不同的结果。
有人可以解释一下区别吗？
编辑：顺便说一句，我也想检查测试样本结果：
dtree.fit(data1[data1_x_bin],data1[Target])
dtree.score(test1_x_bin,test1_y), tune_model.score(test1_x_bin,test1_y)
输出：(0.8295964125560538, 0.9033059266872216)
相同的模型（决策树分类器），相同的超参数，非常不同的结果
（显然它们不是同一型号，但我看不出如何以及为什么）
更新
默认情况下 cross_validate 使用估算器得分方法作为默认方法来评估其性能（您可以通过指定 cross validate 的 scoring kw 参数来更改它）。 DecisionTreeClassifier class 的评分方法使用准确性作为其评分指标。在 GridSearchCV 中，roc_auc 用作得分指标。在这两种情况下使用相同的分数指标会得到相同的分数。例如。如果 cross_validate 的得分指标更改为 roc_auc，则您观察到的模型之间的得分差异消失。
results = model_selection.cross_validate(dtree, data1[data1_x_bin], data1[Target], scoring = 'roc_auc' ... )
关于分数指标：
分数指标的选择决定了模型性能的评估方式。
假设一个模型应该预测交通灯是否是绿色的（交通灯是绿色的 -> 1，交通灯不是绿色的 -> 0）。该模型可能会犯两种类型的错误。它要么说交通灯是绿色的，但它不是绿色的（假阳性），要么它说交通灯不是绿色的，尽管它是绿色的（假阴性).在这种情况下，假阴性会很丑陋，但其后果是可以忍受的（有人不得不在红绿灯处等待的时间比必要的时间长）。另一方面，误报将是灾难性的（有人通过红色交通灯，因为它已被 class 化为绿色）。为了评估模型的性能，将选择一个得分指标，该指标对假阳性（即 class 将它们视为 "worse" 错误）的权重高于假阴性。 准确性 在这里是不合适的指标，因为假阴性和假阳性会在相同程度上降低分数。更适合作为得分指标的是，例如，precision。该指标用 1 衡量误报，用 0 衡量漏报（漏报的数量对模型的精度没有影响）。有关什么是假阴性、假阳性、精确度、召回率、准确度等的一个很好的概述，请参见 here. The beta parameter of the F score (another score metric) can be used to set how false positives should be weighted compared to false negatives (for a more detailed explanation, see here). More information about the roc_auc score can be found here（它是根据混淆矩阵的不同统计数据计算得出的）。
总而言之，这意味着同一模型可以在一个得分指标方面表现出色，而在另一个指标方面表现不佳。在您描述的情况下，由 GridSearchCV 优化的决策树和您之后实例化的树是相同的模型。两者都产生相同的准确度或相同的 roc_auc 分数。您使用哪个评分指标来比较不同模型在您的数据集上的性能取决于您认为哪些标准对模型性能特别重要。如果唯一的标准是有多少实例被正确 class 化，那么准确性可能是一个不错的选择。
老想法（见评论）：
您为 dtree (dtree = tree.DecisionTreeClassifier(random_state = 0 ...) 指定了随机状态，但为 GridSearchCV 中使用的决策树指定了 none。在那里使用相同的随机状态，让我知道这是否解决了问题。
tune_model = model_selection.GridSearchCV(tree.DecisionTreeClassifier(random_state=0), ...)
这是我在这里的第一个问题，希望我做对了，
我正在研究在 kaggle 上很流行的 titanic 数据集，如果你想检查这个 tutarial A Data Science Framework: To Achieve 99% Accuracy
第 5.2 部分，它教授如何进行网格搜索和调整超参数。在具体说明我的问题之前，让我与您分享相关代码；
这是使用 GridSearchCV 调整模型：
cv_split = model_selection.ShuffleSplit(n_splits = 10, test_size = .3, train_size = .6, random_state = 0)
#cv_split = model_selection.KFold(n_splits=10, shuffle=False, random_state=None)
param_grid = {'criterion': ['gini', 'entropy'],
'splitter': ['best', 'random'], #splitting methodology; two supported strategies - default is best
'max_depth': [2,4,6,8,10,None], #max depth tree can grow; default is none
'min_samples_split': [2,5,10,.03,.05], #minimum subset size BEFORE new split (fraction is % of total); default is 2
'min_samples_leaf': [1,5,10,.03,.05], #minimum subset size AFTER new split split (fraction is % of total); default is 1
'max_features': [None, 'auto'], #max features to consider when performing split; default none or all
'random_state': [0] }
tune_model = model_selection.GridSearchCV(tree.DecisionTreeClassifier(), param_grid=param_grid, scoring = 'roc_auc', return_train_score = True ,cv = cv_split)
tune_model.fit(data1[data1_x_bin], data1[Target])`
tune_model.best_params_
result is:
{'criterion': 'gini',
'max_depth': 4,
'max_features': None,
'min_samples_leaf': 5,
'min_samples_split': 2,
'random_state': 0,
'splitter': 'best'}
并且根据代码，训练和测试准确度应该是这样的：
print(tune_model.cv_results_['mean_train_score'][tune_model.best_index_], tune_model.cv_results_['mean_test_score'][tune_model.best_index_])
此输出：0.8924916598172832 0.8767742588186237
出于好奇，我想用我从 GridSearchCV 获得的参数制作我自己的 DecisionTreeClassifier()，
dtree = tree.DecisionTreeClassifier(criterion = 'gini',max_depth = 4,max_features= None, min_samples_leaf= 5, min_samples_split= 2,random_state = 0, splitter ='best')
results = model_selection.cross_validate(dtree, data1[data1_x_bin], data1[Target],return_train_score = True, cv = cv_split)
相同的超参数，相同的交叉验证数据帧，不同的结果。为什么？
print(results['train_score'].mean(), results['test_score'].mean())
0.8387640449438202 0.8227611940298509
那个是 tune_model 结果：
0.8924916598172832 0.8767742588186237
差别还不小。如果你问我，两个结果应该是一样的，
我不明白有什么不同？有什么不同所以结果不同？
我尝试使用 k-fold 而不是 shufflesplit 进行交叉验证，
在这两种情况下我都尝试了不同的 random_state 值，也尝试了 random_state = None,
仍然是不同的结果。
有人可以解释一下区别吗？
编辑：顺便说一句，我也想检查测试样本结果：
dtree.fit(data1[data1_x_bin],data1[Target])
dtree.score(test1_x_bin,test1_y), tune_model.score(test1_x_bin,test1_y)
输出：(0.8295964125560538, 0.9033059266872216)
相同的模型（决策树分类器），相同的超参数，非常不同的结果
（显然它们不是同一型号，但我看不出如何以及为什么）
更新
默认情况下 cross_validate 使用估算器得分方法作为默认方法来评估其性能（您可以通过指定 cross validate 的 scoring kw 参数来更改它）。 DecisionTreeClassifier class 的评分方法使用准确性作为其评分指标。在 GridSearchCV 中，roc_auc 用作得分指标。在这两种情况下使用相同的分数指标会得到相同的分数。例如。如果 cross_validate 的得分指标更改为 roc_auc，则您观察到的模型之间的得分差异消失。
results = model_selection.cross_validate(dtree, data1[data1_x_bin], data1[Target], scoring = 'roc_auc' ... )
关于分数指标：
分数指标的选择决定了模型性能的评估方式。
假设一个模型应该预测交通灯是否是绿色的（交通灯是绿色的 -> 1，交通灯不是绿色的 -> 0）。该模型可能会犯两种类型的错误。它要么说交通灯是绿色的，但它不是绿色的（假阳性），要么它说交通灯不是绿色的，尽管它是绿色的（假阴性).在这种情况下，假阴性会很丑陋，但其后果是可以忍受的（有人不得不在红绿灯处等待的时间比必要的时间长）。另一方面，误报将是灾难性的（有人通过红色交通灯，因为它已被 class 化为绿色）。为了评估模型的性能，将选择一个得分指标，该指标对假阳性（即 class 将它们视为 "worse" 错误）的权重高于假阴性。 准确性 在这里是不合适的指标，因为假阴性和假阳性会在相同程度上降低分数。更适合作为得分指标的是，例如，precision。该指标用 1 衡量误报，用 0 衡量漏报（漏报的数量对模型的精度没有影响）。有关什么是假阴性、假阳性、精确度、召回率、准确度等的一个很好的概述，请参见 here. The beta parameter of the F score (another score metric) can be used to set how false positives should be weighted compared to false negatives (for a more detailed explanation, see here). More information about the roc_auc score can be found here（它是根据混淆矩阵的不同统计数据计算得出的）。
总而言之，这意味着同一模型可以在一个得分指标方面表现出色，而在另一个指标方面表现不佳。在您描述的情况下，由 GridSearchCV 优化的决策树和您之后实例化的树是相同的模型。两者都产生相同的准确度或相同的 roc_auc 分数。您使用哪个评分指标来比较不同模型在您的数据集上的性能取决于您认为哪些标准对模型性能特别重要。如果唯一的标准是有多少实例被正确 class 化，那么准确性可能是一个不错的选择。
老想法（见评论）：
您为 dtree (dtree = tree.DecisionTreeClassifier(random_state = 0 ...) 指定了随机状态，但为 GridSearchCV 中使用的决策树指定了 none。在那里使用相同的随机状态，让我知道这是否解决了问题。
tune_model = model_selection.GridSearchCV(tree.DecisionTreeClassifier(random_state=0), ...)