确定模型的准确性，该模型估计 类 之一的概率
Determine accuracy of model which estimates probability of one of the classes
我正在为一个具有两个结果的事件建模，0（拒绝）和 1（接受）。我创建了一个模型来估计 1（接受）发生的概率（即该模型将计算出“1”发生的概率为 80%，换句话说，接受概率为 0.8）
现在，我有大量使用模型估计值进行试验的结果记录（例如：接受概率=0.8 和实际 class（接受=1））。我想量化或验证模型的准确性。这可能吗？如果可能的话如何？
注意：我只是预测 class 1 的概率。假设 class 1 的预测为 0.8，实际 class 值为 1。现在我想找到性能我的模型。
您只需将您的概率转换为具有阈值舍入的两个离散 类 之一，即如果 p(y=1|x)>0.5：预测 1，否则预测 0。然后所有指标适用。可以通过检查 ROC 曲线 and/or precision-recall 变化来选择阈值，也可以简单地设置为 0.5.
按预测对对象进行排序。
然后计算所得曲线的 ROC AUC。
我正在为一个具有两个结果的事件建模，0（拒绝）和 1（接受）。我创建了一个模型来估计 1（接受）发生的概率（即该模型将计算出“1”发生的概率为 80%，换句话说，接受概率为 0.8）
现在，我有大量使用模型估计值进行试验的结果记录（例如：接受概率=0.8 和实际 class（接受=1））。我想量化或验证模型的准确性。这可能吗？如果可能的话如何？
注意：我只是预测 class 1 的概率。假设 class 1 的预测为 0.8，实际 class 值为 1。现在我想找到性能我的模型。
您只需将您的概率转换为具有阈值舍入的两个离散 类 之一，即如果 p(y=1|x)>0.5：预测 1，否则预测 0。然后所有指标适用。可以通过检查 ROC 曲线 and/or precision-recall 变化来选择阈值，也可以简单地设置为 0.5.
按预测对对象进行排序。
然后计算所得曲线的 ROC AUC。