如何计算twoClassSummary下的AUC？

Question

这是我的代码：

train <- data.frame(***contain label, feature group 1 and feature group 2***)

formula <- label ~ features group 1

ctrl <- trainControl(method = "repeatedcv",
                     number = 10,
                     repeats = 5,
                     summaryFunction = twoClassSummary,
                     classProbs = T)

fit <- train(formula,
             data = train, 
             method = "glm", 
             metric = "ROC",
             trControl = ctrl,
             na.action = na.omit)

pred <- predict(fit, train)

我的问题是：如何计算pred的AUC？

我已经尝试过 prSummary、ROCR 和 pROC，但没有用，当 obs 和 pred 完全相同（级别方面）时，我似乎无法计算 AUC。

我想知道我是否可以使用 AUC 作为指标进行训练，我怎么不能显示 AUC？

p.s.

> levels(train$label)
[1] "classA" "classB"
> levels(as.factor(pred))
[1] "classA" "classB"

顺便说一句，我正在做的是：用插入符拟合多个算法并按 AUC 对它们进行排名，然后我可以选择最佳算法（基于 AUC）。

*可重现的例子：

训练集：iris

特征 g1：前 2 个特征

特征 g2：最后 2 个特征

种子：123*

Answer 1

这个可能是可能的答案，但我不确定它是否正确，如果我错了请告诉我。

response = as.factor(as.numeric(train$label))

predictor = as.vector(as.numeric(pred))

library(pROC)

result = as.numeric(roc(response, predictor)$auc)

顺便说一句，因为 pROC 运行非常慢，谁能帮我在 ROCR 包下转换它？非常感谢:)

如何计算twoClassSummary下的AUC？

How to calculate AUC under twoClassSummary?

r

roc

auc

r-caret