在 R 中评估统计模型

Question

我有一个非常大的数据集 (ds)。其中一列是 Popularity，类型为 factor ('High' / 'Low')。

我将数据分成 70% 和 30% 以创建训练集 (ds_tr) 和测试集 (ds_te)。

我使用逻辑回归创建了以下模型：

mdl <- glm(formula = popularity ~ . -url , family= "binomial", data = ds_tr )

然后我创建了一个 predict 对象（将为 ds_te 再做一次）

y_hat = predict(mdl, data = ds_tr - url , type = 'response')

我想找到与 0.5 的截止阈值对应的精度值，并找到与 0.5 的截止阈值对应的召回值，所以我做了：

library(ROCR)
pred <- prediction(y_hat, ds_tr$popularity)
perf <- performance(pred, "prec", "rec")

结果是 table 多个值

str(perf)

Formal class 'performance' [package "ROCR"] with 6 slots
  ..@ x.name      : chr "Recall"
  ..@ y.name      : chr "Precision"
  ..@ alpha.name  : chr "Cutoff"
  ..@ x.values    :List of 1
  .. ..$ : num [1:27779] 0.00 7.71e-05 7.71e-05 1.54e-04 2.31e-04 ...
  ..@ y.values    :List of 1
  .. ..$ : num [1:27779] NaN 1 0.5 0.667 0.75 ...
  ..@ alpha.values:List of 1
  .. ..$ : num [1:27779] Inf 0.97 0.895 0.89 0.887 ...

如何找到与截止阈值 0.5 对应的特定精度和召回值？

Answer 1

访问性能对象的slots（通过@+list组合）

我们创建了一个包含所有可能值的数据集：

probab.cuts <- data.frame(cut=perf@alpha.values[[1]], prec=perf@y.values[[1]], rec=perf@x.values[[1]])

您可以查看所有个关联值

probab.cuts

如果你想要select请求的值，这样做很简单：

tail(probab.cuts[probab.cuts$cut > 0.5,], 1)

手动检查

tab <- table(ds_tr$popularity, y_hat > 0.5)
tab[4]/(tab[4]+tab[2]) # recall
tab[4]/(tab[4]+tab[3]) # precision

在 R 中评估统计模型

Evaluating a statistical model in R

r

threshold

logistic-regression

precision-recall