如何从 MLeval 获取测试数据 ROC plot

Question

我正在尝试 return 使用 MLevals 包的测试数据集的 ROC 曲线。

  # Load data 
  train <- readRDS(paste0("Data/train.rds"))
  test <- readRDS(paste0("Data/test.rds"))
  
  # Create factor class
  train$class <- ifelse(train$class == 1, 'yes', 'no')
 

  # Set up control function for training
  ctrl <- trainControl(method = "cv",
                       number = 5, 
                       returnResamp = 'none',
                       summaryFunction = twoClassSummary(),
                       classProbs = T,
                       savePredictions = T,
                       verboseIter = F)
  
  gbmGrid <-  expand.grid(interaction.depth = 10,
                          n.trees = 18000,                                          
                          shrinkage = 0.01,                                         
                          n.minobsinnode = 4) 
  
  # Build using a gradient boosted machine
  set.seed(5627)
  gbm <- train(class ~ .,
               data = train,
               method = "gbm",
               metric = "ROC",
               tuneGrid = gbmGrid,
               verbose = FALSE,
               trControl = ctrl) 

# Predict results - 
  pred <- predict(gbm, newdata = test, type = "prob")[,"yes"]
  roc <- evalm(data.frame(pred, test$class))

我用过以下post,, 尝试使用 MLeval 从测试数据中绘制 ROC，但我收到以下错误消息：

MLeval：机器学习模型评估输入：观察标签概率的数据框名称错误 (x) <- 值： 'names' 属性 [3] 的长度必须与向量 [2] 的长度相同

有人可以帮忙吗？谢谢

Answer 1

请提供带有示例数据的可重现示例，以便我们可以复制错误并测试解决方案（即，我们无法访问 train.rds 或 test.rds）。

不过，以下可能会解决您的问题。

pred <- predict(gbm, newdata = test, type = "prob")
roc <- evalm(data.frame(pred, test$class))

如何从 MLeval 获取测试数据 ROC plot

How to get test data ROC plot from MLeval

r

roc

gbm

r-caret