什么是评分,机器学习中的实时评分和批量评分有什么区别?
What is scoring and what's the difference between real time scoring and batch scoring in machine learning?
我看过用于信用卡欺诈检测的实时评分示例,但我没有看到评分如何完成这样的任务。我想我从根本上误解了得分。
我的理解是:“对模型进行评分”(在分类模型的情况下)意味着对一系列数据集(我们知道答案)进行预测并评估它通过计算模型做出的所有错误预测与正确预测来做出预测。即,如果一个模型在 100 次预测中犯了 50 次错误,则该模型的准确率为 50%——因此得分。
但我不明白实时执行此操作如何检测欺诈。如果我们不知道交易是否是欺诈(因为它不是历史数据),评分如何实现欺诈检测?
OR 评分实际上是预测的“置信度”吗?即,当我对一个看不见的数据集进行预测时,分类模型会告诉我预测的置信度可以达到 80%(该模型有 80% 的把握可以做出正确的预测)。这种情况下得分是80%吗?
我还看到评分被定义为将模型应用于新数据集。这不和预测一样吗?
首先,评分取决于您为衡量模型性能而定义的指标。它可以是任何东西,例如置信度或准确性或任何其他用于模型评估的指标。您必须自己定义要使用的指标以及最有效的指标,其输出将称为 score.
实时评分与批量评分的区别:
假设您正在构建欺诈检测模型。您必须为每笔交易分配分数。有两种方法。
实时评分 - 您实时获取特征并进行所有预处理,然后将其传递给模型以获得预测。这一切都应该实时发生,并立即产生结果。优点是用户或系统无需等待即可获得结果。
批量评分 - 当您创建一个定期批量进行预测的模型时,它被称为批量推理或批量评分。假设您 运行 您的系统每小时或每个午夜进行预测,然后分批进行。
它们各有利弊,但通常,这些决策取决于业务利益相关者和业务需求。
我看过用于信用卡欺诈检测的实时评分示例,但我没有看到评分如何完成这样的任务。我想我从根本上误解了得分。
我的理解是:“对模型进行评分”(在分类模型的情况下)意味着对一系列数据集(我们知道答案)进行预测并评估它通过计算模型做出的所有错误预测与正确预测来做出预测。即,如果一个模型在 100 次预测中犯了 50 次错误,则该模型的准确率为 50%——因此得分。
但我不明白实时执行此操作如何检测欺诈。如果我们不知道交易是否是欺诈(因为它不是历史数据),评分如何实现欺诈检测?
OR 评分实际上是预测的“置信度”吗?即,当我对一个看不见的数据集进行预测时,分类模型会告诉我预测的置信度可以达到 80%(该模型有 80% 的把握可以做出正确的预测)。这种情况下得分是80%吗?
我还看到评分被定义为将模型应用于新数据集。这不和预测一样吗?
首先,评分取决于您为衡量模型性能而定义的指标。它可以是任何东西,例如置信度或准确性或任何其他用于模型评估的指标。您必须自己定义要使用的指标以及最有效的指标,其输出将称为 score.
实时评分与批量评分的区别:
假设您正在构建欺诈检测模型。您必须为每笔交易分配分数。有两种方法。
实时评分 - 您实时获取特征并进行所有预处理,然后将其传递给模型以获得预测。这一切都应该实时发生,并立即产生结果。优点是用户或系统无需等待即可获得结果。
批量评分 - 当您创建一个定期批量进行预测的模型时,它被称为批量推理或批量评分。假设您 运行 您的系统每小时或每个午夜进行预测,然后分批进行。
它们各有利弊,但通常,这些决策取决于业务利益相关者和业务需求。