R:pROC 包:输入数据作为命中率和误报率?
R: pROC package: entering data as hit rates and false alarm rates?
问:有没有办法使用 pROC R 包将命中率和误报率形式的数据导入到 roc 对象中?
背景:在认知心理学中,我们使用的术语 "hit rate" 相当于灵敏度,"false alarm rate" 相当于 1-特异性。一个常见的任务是识别记忆测试。例如,参与者首先研究一个单词列表(我们称之为 "targets")。稍后,他们进行了一项测试,在测试中他们查看了一系列单词,其中一些是先前列表中的目标,其中一些是 "lures" 不在先前列表中的目标。对于每个词,参与者回答是(我以前学过这个词)或否(我以前没有学过这个词),然后他们还给出置信度评级(例如,从 50% 置信度 [只是猜测] 到 100%信心[绝对确定])。
命中率是参与者正确回答“是”的目标词的比例。误报率是参与者错误地回答“是”的诱饵词的比例。通过计算多个置信度水平(又名 "bins")的累积命中率和误报率,我们可以绘制经验 ROC 曲线,x 轴为误报率,y 轴为命中率。
所以,假设我有 5 个置信区间的累积命中率和误报率形式的识别记忆数据。例如:
误报率:0.05、0.11、0.20、0.28、0.45
命中率:0.45、0.52、0.57、0.59、0.62
我想使用 pROC 包将这些数据放入 roc 对象中,以便我可以拟合曲线并计算部分 AUC。有什么办法吗?
谢谢,
~杰森·芬利
Is there any way to do this?
简答:否
长答案:
- You can't build a ROC curve from a confusion matrix。如果您有 all 个混淆矩阵,也许可以这样做,但这显然不是您的情况。您像这样构建的任何曲线都不是 ROC 曲线。
- 即使您能够使用上面的第 1 点构建 ROC 曲线并计算 AUC,所有额外的功能,例如误差估计(方差,CI)、平滑等都需要完整的、不完整的-汇总数据。
问:有没有办法使用 pROC R 包将命中率和误报率形式的数据导入到 roc 对象中?
背景:在认知心理学中,我们使用的术语 "hit rate" 相当于灵敏度,"false alarm rate" 相当于 1-特异性。一个常见的任务是识别记忆测试。例如,参与者首先研究一个单词列表(我们称之为 "targets")。稍后,他们进行了一项测试,在测试中他们查看了一系列单词,其中一些是先前列表中的目标,其中一些是 "lures" 不在先前列表中的目标。对于每个词,参与者回答是(我以前学过这个词)或否(我以前没有学过这个词),然后他们还给出置信度评级(例如,从 50% 置信度 [只是猜测] 到 100%信心[绝对确定])。
命中率是参与者正确回答“是”的目标词的比例。误报率是参与者错误地回答“是”的诱饵词的比例。通过计算多个置信度水平(又名 "bins")的累积命中率和误报率,我们可以绘制经验 ROC 曲线,x 轴为误报率,y 轴为命中率。
所以,假设我有 5 个置信区间的累积命中率和误报率形式的识别记忆数据。例如: 误报率:0.05、0.11、0.20、0.28、0.45 命中率:0.45、0.52、0.57、0.59、0.62
我想使用 pROC 包将这些数据放入 roc 对象中,以便我可以拟合曲线并计算部分 AUC。有什么办法吗? 谢谢, ~杰森·芬利
Is there any way to do this?
简答:否
长答案:
- You can't build a ROC curve from a confusion matrix。如果您有 all 个混淆矩阵,也许可以这样做,但这显然不是您的情况。您像这样构建的任何曲线都不是 ROC 曲线。
- 即使您能够使用上面的第 1 点构建 ROC 曲线并计算 AUC,所有额外的功能,例如误差估计(方差,CI)、平滑等都需要完整的、不完整的-汇总数据。