tuneRF vs 随机森林的插入符号调整

Question

我正在尝试使用 randomForest 包中包含的 tuneRF 工具来调整随机森林模型，并且我还使用 caret 包来调整我的模型。问题是我正在调整以获得 mtry 并且每种方法都得到不同的结果。问题是我怎么知道哪个是最好的方法以及基于什么？我不清楚我是否应该期待相似或不同的结果。

tuneRF：通过这种方法，我得到的最佳 mtry 是 3

t <- tuneRF(train[,-12], train[,12],
        stepFactor = 0.5,
        plot = TRUE,
        ntreeTry = 100,
        trace = TRUE,
        improve = 0.05)

caret：通过这种方法，我总是得到最好的 mtry 在这种情况下是所有变量 6

control <- trainControl(method="cv", number=5)
tunegrid <- expand.grid(.mtry=c(2:6))
set.seed(2)
custom <- train(CRTOT_03~., data=train, method="rf", metric="rmse", 
                tuneGrid=tunegrid, ntree = 100, trControl=control)

Answer 1

有一些差异，对于每个 mtry 参数，tuneRF 在整个数据集上拟合一个模型，并且您会从每个拟合中得到 OOB 错误。 tuneRF 然后采用最低的 OOB 错误。对于 mtry 的每个值，您有一个分数（或 RMSE 值），这会随着运行s 的不同而变化。

在插入符号中，您实际上进行了交叉验证，因此模型中根本没有使用折叠中的测试数据。虽然原则上它应该与 OOB 相似，但您应该了解其中的差异。

对错误有更好图片的评估可能是运行 tuneRF 几轮，我们可以在 caret 中使用 cv:

library(randomForest)
library(mlbench)
data(BostonHousing)
train <- BostonHousing

tuneRF_res = lapply(1:10,function(i){

tr = tuneRF(train[,-14], train[,14],mtryStart=2,step=0.9,ntreeTry = 100,trace = TRUE,improve=1e-5)
tr = data.frame(tr)
tr$RMSE = sqrt(tr[,2])
tr
})

tuneRF_res = do.call(rbind,tuneRF_res)

control <- trainControl(method="cv", number=10,returnResamp="all")
tunegrid <- expand.grid(.mtry=c(2:7))
caret_res <- train(medv ~., data=train, method="rf", metric="RMSE", 
                tuneGrid=tunegrid, ntree = 100, trControl=control)

library(ggplot2)
df = rbind(
data.frame(tuneRF_res[,c("mtry","RMSE")],test="tuneRF"),
data.frame(caret_res$resample[,c("mtry","RMSE")],test="caret")
)
df = df[df$mtry!=1,]

ggplot(df,aes(x=mtry,y=RMSE,col=test))+
stat_summary(fun.data=mean_se,geom="errorbar",width=0.2) +
stat_summary(fun=mean,geom="line") + facet_wrap(~test)

你可以看到趋势或多或少相似。我的建议是使用 tuneRF 快速检查要训练的 mtry 范围，然后使用插入符号、交叉验证来正确评估它。

tuneRF vs 随机森林的插入符号调整

tuneRF vs caret tunning for random forest

r

random-forest

r-caret

hyperparameters