如何计算 R 中精确召回曲线下面积的 95% CI

Question

我使用 Mleval 包计算精确召回曲线下的面积。 Mleval 包为 AUROC 但不为 AUPRC 提供 95% CI。有没有提供AUPRC 95%CI的套餐？

Answer 1

precrec 库给出了 precision-recall 的 AUC 以及 ROC，如本例中使用虚拟数据所示：

library(precrec)

set.seed(1)

## Create sample datasets with 100 positives and 100 negatives
samps <- create_sim_samples(2, 100, 100, "good_er")

## Single model & multiple test datasets
smmdat <- mmdata(samps[["scores"]], samps[["labels"]],
                 modnames = samps[["modnames"]],
                 dsids = samps[["dsids"]])

mod <- evalmod(smmdat)
auc_ci(mod)
#>   modnames curvetypes      mean        error lower_bound upper_bound n
#> 1  good_er        ROC 0.8192000 0.0007839856   0.8184160    0.819984 2
#> 2  good_er        PRC 0.8603505 0.0154645417   0.8448859    0.875815 2

^{由 reprex package (v2.0.1)}

创建于 2022-03-06

如何计算 R 中精确召回曲线下面积的 95% CI

How to calculate 95% CI for area under the precision recall curve in R

r

confidence-interval

logistic-regression

precision-recall