在 sklearn 中使用决策树回归和交叉验证
Using decision tree regression and cross-validation in sklearn
我是统计方法的新手，请原谅我的幼稚。当使用来自 sklearn 的决策树回归（例如 DecisionTreeRegressor 和 RandomForestRegressor）时，我在理解交叉验证的执行时遇到了问题。我的数据集从具有多个预测变量（y = 单个因变量；X = 多个自变量）到具有单个预测变量并且包含足够多的案例（> 10k）。以下解释适用于所有情况。
使用标准方法对回归变量进行拟合和评分时：
dt = DecisionTreeRegressor()
rf = RandomForestRegressor()
dt.fit(X,y)
rf.fit(X,y)
dt_score = dt.score(X,y)
rf_score = rf.score(X,y)
dt_score 和 rf_score returns 有前途的 R 平方值（> 0.7），但是我知道 DT 的过度拟合特性并且在较小程度上射频。因此，我尝试通过交叉验证（10 倍）对回归变量进行评分，以获得更真实的准确性表示：
dt = DecisionTreeRegressor()
rf = RandomForestRegressor()
dt.fit(X,y)
rf.fit(X,y)
dt_scores = cross_val_score(dt, X, y, cv = 10)
rf_scores = cross_val_score(rf, X, y, cv = 10)
dt_score = round(sum(dt_scores )/len(dt_scores ), 3)
rf_score = round(sum(rf_scores )/len(rf_scores ), 3)
此交叉验证的结果总是 returns 负值。我假设它们是根据 sklearn 指南的 R 平方值：默认情况下，每次 CV 迭代计算的分数是估计器的分数方法 （两个回归变量的评分方法都是 R 平方）。基本 KFold 交叉验证指南给出的解释是：然后将每个折叠用作验证，而剩余的 k - 1 个折叠形成训练集。
当我使用 10 个旧的 cv 时，我的理解是：我的数据集被分成 10 个相等的部分，对于每个部分，其余 9 个部分用于训练（我不确定这是一个合适的操作还是分数操作），其余部分用于验证（不确定为验证做了什么）。这些回归量对我来说是一个完整的 "black box"，所以我不知道树是如何用于回归的，以及交叉验证从哪里得到它的 R 平方值。
总而言之，我很难理解交叉验证为何会如此显着地降低准确性（R 平方）？我是否对回归变量使用了交叉验证？对决策树回归器使用交叉验证是否有意义？我应该使用另一种交叉验证方法吗？
谢谢
决策树根据生成纯度最高的组的特征值进行拆分。当我说纯度时，我的意思是该组中的所有成员都共享所有或几乎所有相似的东西（例如全白人、35 岁、全男性等）。它将一直这样做，直到您的所有叶节点都完全纯净，或者满足某些停止机制（例如，节点中需要拆分的最小样本数）。您将在 sklearn documentation 中看到的参数基本上是那些停止参数。现在，就回归而言，树将做的是将每个叶子（不再有分裂的节点）的所有真实 y 的平均值作为该特定路径的估计 y-hat ，因此当您预测测试数据集时，该测试数据集中的每条记录基本上都会沿着树的某些路径向下移动，直到它到达叶节点，并且该记录的估计 y-hat 将是平均真实值 y 该叶节点中的所有观察值。
随机森林基本上是决策树的集合，它使用训练数据的子集来进行训练。这些树通常不像单个决策树模型那么深，这有助于缓解单个决策树的过拟合症状。 RF 的想法是您正在使用许多可以很好地概括您的数据的弱学习器。因此，更少的过度拟合。
R 平方指标基本上是 1 - (SS_res / SS_tot)。分解该公式，您基本上是在查看残差平方和和总平方和。因此，您只需要知道真实的 y 值、估计的 y-hat 值以及真实 y 值的平均值 y-bar.
整理了一个小代码片段，阐明了如何使用 DecisionTreeRegressor 和交叉验证。
一个。在第一个代码片段中，使用了 'cross_val_score'。但是，r2_score 可能会有负分，从而洞察模型学习不佳的情况。
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y,
test_size=0.20, random_state=0)
dt = DecisionTreeRegressor(random_state=0, criterion="mae")
dt_fit = dt.fit(X_train, y_train)
dt_scores = cross_val_score(dt_fit, X_train, y_train, cv = 5)
print("mean cross validation score: {}".format(np.mean(dt_scores)))
print("score without cv: {}".format(dt_fit.score(X_train, y_train)))
# on the test or hold-out set
from sklearn.metrics import r2_score
print(r2_score(y_test, dt_fit.predict(X_test)))
print(dt_fit.score(X_test, y_test))
乙。在下一节中，使用交叉验证对参数 'min_samples_split' 执行 GridSerach，然后使用最佳估计器对 valiation/holdout 集进行评分。
# 使用网格搜索：
来自 sklearn.model_selection 导入 GridSearchCV
从 sklearn.metrics 导入 make_scorer
从 sklearn.metrics 导入 mean_absolute_error
从 sklearn.metrics 导入 r2_score
scoring = make_scorer(r2_score)
g_cv = GridSearchCV(DecisionTreeRegressor(random_state=0),
param_grid={'min_samples_split': range(2, 10)},
scoring=scoring, cv=5, refit=True)
g_cv.fit(X_train, y_train)
g_cv.best_params_
result = g_cv.cv_results_
# print(result)
r2_score(y_test, g_cv.best_estimator_.predict(X_test))
希望这有用。
参考：
https://www.programcreek.com/python/example/75177/sklearn.cross_validation.cross_val_score
我是统计方法的新手，请原谅我的幼稚。当使用来自 sklearn 的决策树回归（例如 DecisionTreeRegressor 和 RandomForestRegressor）时，我在理解交叉验证的执行时遇到了问题。我的数据集从具有多个预测变量（y = 单个因变量；X = 多个自变量）到具有单个预测变量并且包含足够多的案例（> 10k）。以下解释适用于所有情况。
使用标准方法对回归变量进行拟合和评分时：
dt = DecisionTreeRegressor()
rf = RandomForestRegressor()
dt.fit(X,y)
rf.fit(X,y)
dt_score = dt.score(X,y)
rf_score = rf.score(X,y)
dt_score 和 rf_score returns 有前途的 R 平方值（> 0.7），但是我知道 DT 的过度拟合特性并且在较小程度上射频。因此，我尝试通过交叉验证（10 倍）对回归变量进行评分，以获得更真实的准确性表示：
dt = DecisionTreeRegressor()
rf = RandomForestRegressor()
dt.fit(X,y)
rf.fit(X,y)
dt_scores = cross_val_score(dt, X, y, cv = 10)
rf_scores = cross_val_score(rf, X, y, cv = 10)
dt_score = round(sum(dt_scores )/len(dt_scores ), 3)
rf_score = round(sum(rf_scores )/len(rf_scores ), 3)
此交叉验证的结果总是 returns 负值。我假设它们是根据 sklearn 指南的 R 平方值：默认情况下，每次 CV 迭代计算的分数是估计器的分数方法 （两个回归变量的评分方法都是 R 平方）。基本 KFold 交叉验证指南给出的解释是：然后将每个折叠用作验证，而剩余的 k - 1 个折叠形成训练集。
当我使用 10 个旧的 cv 时，我的理解是：我的数据集被分成 10 个相等的部分，对于每个部分，其余 9 个部分用于训练（我不确定这是一个合适的操作还是分数操作），其余部分用于验证（不确定为验证做了什么）。这些回归量对我来说是一个完整的 "black box"，所以我不知道树是如何用于回归的，以及交叉验证从哪里得到它的 R 平方值。
总而言之，我很难理解交叉验证为何会如此显着地降低准确性（R 平方）？我是否对回归变量使用了交叉验证？对决策树回归器使用交叉验证是否有意义？我应该使用另一种交叉验证方法吗？
谢谢
决策树根据生成纯度最高的组的特征值进行拆分。当我说纯度时，我的意思是该组中的所有成员都共享所有或几乎所有相似的东西（例如全白人、35 岁、全男性等）。它将一直这样做，直到您的所有叶节点都完全纯净，或者满足某些停止机制（例如，节点中需要拆分的最小样本数）。您将在 sklearn documentation 中看到的参数基本上是那些停止参数。现在，就回归而言，树将做的是将每个叶子（不再有分裂的节点）的所有真实 y 的平均值作为该特定路径的估计 y-hat ，因此当您预测测试数据集时，该测试数据集中的每条记录基本上都会沿着树的某些路径向下移动，直到它到达叶节点，并且该记录的估计 y-hat 将是平均真实值 y 该叶节点中的所有观察值。
随机森林基本上是决策树的集合，它使用训练数据的子集来进行训练。这些树通常不像单个决策树模型那么深，这有助于缓解单个决策树的过拟合症状。 RF 的想法是您正在使用许多可以很好地概括您的数据的弱学习器。因此，更少的过度拟合。
R 平方指标基本上是 1 - (SS_res / SS_tot)。分解该公式，您基本上是在查看残差平方和和总平方和。因此，您只需要知道真实的 y 值、估计的 y-hat 值以及真实 y 值的平均值 y-bar.
整理了一个小代码片段，阐明了如何使用 DecisionTreeRegressor 和交叉验证。
一个。在第一个代码片段中，使用了 'cross_val_score'。但是，r2_score 可能会有负分，从而洞察模型学习不佳的情况。
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y,
test_size=0.20, random_state=0)
dt = DecisionTreeRegressor(random_state=0, criterion="mae")
dt_fit = dt.fit(X_train, y_train)
dt_scores = cross_val_score(dt_fit, X_train, y_train, cv = 5)
print("mean cross validation score: {}".format(np.mean(dt_scores)))
print("score without cv: {}".format(dt_fit.score(X_train, y_train)))
# on the test or hold-out set
from sklearn.metrics import r2_score
print(r2_score(y_test, dt_fit.predict(X_test)))
print(dt_fit.score(X_test, y_test))
乙。在下一节中，使用交叉验证对参数 'min_samples_split' 执行 GridSerach，然后使用最佳估计器对 valiation/holdout 集进行评分。 # 使用网格搜索： 来自 sklearn.model_selection 导入 GridSearchCV 从 sklearn.metrics 导入 make_scorer 从 sklearn.metrics 导入 mean_absolute_error 从 sklearn.metrics 导入 r2_score
scoring = make_scorer(r2_score)
g_cv = GridSearchCV(DecisionTreeRegressor(random_state=0),
param_grid={'min_samples_split': range(2, 10)},
scoring=scoring, cv=5, refit=True)
g_cv.fit(X_train, y_train)
g_cv.best_params_
result = g_cv.cv_results_
# print(result)
r2_score(y_test, g_cv.best_estimator_.predict(X_test))
希望这有用。
参考：
https://www.programcreek.com/python/example/75177/sklearn.cross_validation.cross_val_score