R插入符在模型调整中的不一致结果

Question

今天使用 caret 包进行模型调整我遇到了这种奇怪的行为：给定调整参数 T* 的特定组合，如果单独评估 T* 或作为可能组合的网格的一部分。在下面的实际示例中，插入符号用于与 gbm 包进行交互。

# Load libraries and data
library (caret)
data<-read.csv("mydata.csv")
data$target<-as.factor(data$target)
# data are available at https://www.dropbox.com/s/1bglmqd14g840j1/mydata.csv?dl=0

步骤 1：T* 单独评估

#Define 5-fold cv as validation settings
fitControl <- trainControl(method = "cv",number = 5)

# Define the combination of tuning parameter for this example T*
gbmGrid <- expand.grid(.interaction.depth = 1,
                   .n.trees = 1000,
                   .shrinkage = 0.1, .n.minobsinnode=1)

# Fit a gbm with T* as model parameters and K as scoring metric.
set.seed(825)
gbmFit1 <- train(target ~ ., data = data,
             method = "gbm",
             distribution="adaboost",
             trControl = fitControl,
             tuneGrid=gbmGrid,
             verbose=F,
             metric="Kappa")

# The results show that T* is associated with Kappa = 0.47. Remember this result and the confusion matrix.
testPred<-predict(gbmFit1, newdata = data)
confusionMatrix(testPred, data$target) 
# output selection
Confusion Matrix and Statistics
           Reference
Prediction   0   1
         0 832  34
         1   0  16

Kappa : 0.4703

程序 2：T* 与其他调整配置文件一起评估

除了考虑了调整参数 {T} 的几种组合之外，这里的一切都与过程 1 相同：

# Notice that the original T* is included in {T}!!
gbmGrid2 <- expand.grid(.interaction.depth = 1,
                   .n.trees = seq(100,1000,by=100),
                   .shrinkage = 0.1, .n.minobsinnode=1)
# Fit the gbm
set.seed(825)
gbmFit2 <- train(target ~ ., data = data,
             method = "gbm",
             distribution="adaboost",
             trControl = fitControl,
             tuneGrid=gbmGrid2,
             verbose=F,
             metric="Kappa")

# Caret should pick the model with the highest Kappa. 
# Since T* is in {T} I would expect the best model to have K >= 0.47
testPred<-predict(gbmFit2, newdata = data)
confusionMatrix(testPred, data$target) 
# output selection
          Reference
Prediction   0   1
         0 831  47
         1   1   3

Kappa : 0.1036

结果与我的预期不符：{T}中最好的模型得分K=0.10。鉴于 T* 的 K = 0.47 并且包含在 {T} 中，这怎么可能？此外，根据下图，在步骤 2 中评估的 T* 的 K 现在约为 0.01。知道发生了什么事吗？我错过了什么吗？

Answer 1

我从您的数据和代码中得到了一致的重采样结果。

第一个模型有Kappa = 0.00943

gbmFit1$results
  interaction.depth n.trees shrinkage n.minobsinnode  Accuracy       Kappa  AccuracySD
1                 1    1000       0.1              1 0.9331022 0.009430576     0.004819004
    KappaSD
1 0.0589132

第二个模型与 n.trees = 1000

的结果相同

gbmFit2$results
   shrinkage interaction.depth n.minobsinnode n.trees  Accuracy        Kappa  AccuracySD
1        0.1                 1              1     100 0.9421803 -0.002075765 0.002422952
2        0.1                 1              1     200 0.9387776 -0.008326896 0.002468351
3        0.1                 1              1     300 0.9365049 -0.012187900 0.002625886
4        0.1                 1              1     400 0.9353749 -0.013950906 0.003077431
5        0.1                 1              1     500 0.9353685 -0.013961221 0.003244201
6        0.1                 1              1     600 0.9342322 -0.015486214 0.005202656
7        0.1                 1              1     700 0.9319658 -0.018574633 0.007033402
8        0.1                 1              1     800 0.9319658 -0.018574633 0.007033402
9        0.1                 1              1     900 0.9342386  0.010955568 0.003144850
10       0.1                 1              1    1000 0.9331022  0.009430576 0.004819004
       KappaSD
1  0.004641553
2  0.004654972
3  0.003978702
4  0.004837097
5  0.004878259
6  0.007469843
7  0.009470466
8  0.009470466
9  0.057825336
10 0.058913202

请注意，您的第二个运行中的最佳模型有 n.trees = 900

gbmFit2$bestTune
     n.trees interaction.depth shrinkage n.minobsinnode
9     900                 1       0.1              1

由于 train 根据您的指标选择了 "best" 模型，您的第二个预测是使用不同的模型（n.trees 900 而不是 1000）。

R插入符在模型调整中的不一致结果

R caret inconsistent results in model tuning

r

machine-learning

prediction

r-caret