为回归模型选择正确的指标
Choosing right metrics for regression model
我一直在使用 r2 score 指标。我知道有几个评估指标，我已经阅读了几篇关于它的文章。因为我还是机器学习的初学者。我仍然很困惑
- 何时使用它们，取决于我们的情况，如果是，请举例说明
- 我读了 this article，它说，
r2 score 并不简单，我们需要其他东西来衡量我们模型的性能。这是否意味着我们需要超过 1 个评估指标才能更好地了解我们的模型性能？
- 如果我们仅通过一种评估指标来衡量我们的模型性能，是否值得推荐？
- 据此article，它表示了解我们的数据分布和我们的业务目标有助于我们了解选择适当的指标。这是什么意思？
- 如何知道每个指标的模型是否 'good' 足够？
回归问题有不同的评估指标，如下所示。
- 均方误差(MSE)
- 均方根误差 (RMSE)
- 平均绝对误差 (MAE)
- R² 或决定系数
- 均方百分比误差 (MSPE)
- 等等……
正如您所提到的，您需要根据您的问题类型、您想要衡量的内容以及您的数据分布来使用它们。
- 为此，您需要了解这些指标如何评估模型。您可以从这个 nice blog post 查看评估指标的定义和 pros/cons。
R² 显示自变量描述了目的变量的哪些变化。一个好的模型可以给出接近 1.0 的 R² 分数，但这并不意味着它应该如此。 R² 低的模型也可以给出低 MSE 分数。因此，为了确保模型的预测能力，最好使用 MSE、RMSE 或 R² 以外的其他指标。- 没有。您可以使用多个评估指标。重要的是如果你比较两个模型，你需要使用相同的测试数据集和相同的评估指标。
- 例如，如果你想过多地惩罚你的错误预测，你可以使用
MSE 评估指标，因为它基本上测量我们预测的平均 平方 误差或者，如果您的数据有太多离群值 MSE，则对这个示例给予过多的惩罚。
- 好的模型定义会根据您的问题复杂性而变化。例如，如果您训练一个预测正面或反面并给出 %49 准确度的模型，那么它就不够好，因为这个问题的基线是 %50。但对于任何其他问题，%49 的准确度可能足以解决您的问题。所以总而言之，这取决于你的问题，你需要定义或认为人类（基线）阈值。
我一直在使用 r2 score 指标。我知道有几个评估指标，我已经阅读了几篇关于它的文章。因为我还是机器学习的初学者。我仍然很困惑
- 何时使用它们，取决于我们的情况，如果是，请举例说明
- 我读了 this article，它说，
r2 score并不简单，我们需要其他东西来衡量我们模型的性能。这是否意味着我们需要超过 1 个评估指标才能更好地了解我们的模型性能？ - 如果我们仅通过一种评估指标来衡量我们的模型性能，是否值得推荐？
- 据此article，它表示了解我们的数据分布和我们的业务目标有助于我们了解选择适当的指标。这是什么意思？
- 如何知道每个指标的模型是否 'good' 足够？
回归问题有不同的评估指标，如下所示。
- 均方误差(MSE)
- 均方根误差 (RMSE)
- 平均绝对误差 (MAE)
- R² 或决定系数
- 均方百分比误差 (MSPE)
- 等等……
正如您所提到的，您需要根据您的问题类型、您想要衡量的内容以及您的数据分布来使用它们。
- 为此，您需要了解这些指标如何评估模型。您可以从这个 nice blog post 查看评估指标的定义和 pros/cons。
R²显示自变量描述了目的变量的哪些变化。一个好的模型可以给出接近 1.0 的R²分数，但这并不意味着它应该如此。R²低的模型也可以给出低MSE分数。因此，为了确保模型的预测能力，最好使用MSE、RMSE或R²以外的其他指标。- 没有。您可以使用多个评估指标。重要的是如果你比较两个模型，你需要使用相同的测试数据集和相同的评估指标。
- 例如，如果你想过多地惩罚你的错误预测，你可以使用
MSE评估指标，因为它基本上测量我们预测的平均 平方 误差或者，如果您的数据有太多离群值MSE，则对这个示例给予过多的惩罚。 - 好的模型定义会根据您的问题复杂性而变化。例如，如果您训练一个预测正面或反面并给出 %49 准确度的模型，那么它就不够好，因为这个问题的基线是 %50。但对于任何其他问题，%49 的准确度可能足以解决您的问题。所以总而言之，这取决于你的问题，你需要定义或认为人类（基线）阈值。