基于目标范围的神经网络回归评估
Neural network regression evaluation based on target range
我目前正在拟合一个神经网络来预测从 1 到 10 的连续目标。但是，样本在整个数据集上的分布并不均匀：目标范围为 1-3 的样本代表性不足（仅考虑约占数据的 5%）。然而，它们很有趣，因为目标的低范围是 临界 范围。
有什么方法可以知道我的模型是如何预测这些低范围样本的？我知道在进行 multiclass class 化时，我可以检查召回率以了解模型在某个 class 上的表现如何。对于 classification 用例，我还可以在 Keras 中设置 class 权重参数来解决 class 不平衡问题，但这显然不可能用于回归。
到目前为止，我使用的是 MAE、MSE、RMSE 等典型指标，并获得了令人满意的结果。但是，我想知道模型在 "critical" 个样本上的表现如何。
您需要做的是为这些关键样本找到标识符。通常行索引用于此。预测完所有样本后，使用这些存储的索引来查找预测中的关键样本和 运行 这些过滤样本的任何自动指标。我希望这回答了你的问题。
从我的角度来看，我会比较对应于整个值范围 (1-10) 的整个测试步骤的测试测量值（分类性能、MSE、RMSE）。然后，当然，我会针对您认为关键的特定范围（假设在 1-3 之间）分别进行，并比较两个总体的差异。您甚至可以对两个群体之间差异的显着性进行一些统计（Wilcoxon 检验等）。
也许这个 link 对您的比较有用。因为你可以回归，你甚至可以比较 MSE 和 RMSE.
我目前正在拟合一个神经网络来预测从 1 到 10 的连续目标。但是，样本在整个数据集上的分布并不均匀：目标范围为 1-3 的样本代表性不足（仅考虑约占数据的 5%）。然而，它们很有趣，因为目标的低范围是 临界 范围。
有什么方法可以知道我的模型是如何预测这些低范围样本的？我知道在进行 multiclass class 化时，我可以检查召回率以了解模型在某个 class 上的表现如何。对于 classification 用例，我还可以在 Keras 中设置 class 权重参数来解决 class 不平衡问题，但这显然不可能用于回归。
到目前为止，我使用的是 MAE、MSE、RMSE 等典型指标，并获得了令人满意的结果。但是，我想知道模型在 "critical" 个样本上的表现如何。
您需要做的是为这些关键样本找到标识符。通常行索引用于此。预测完所有样本后，使用这些存储的索引来查找预测中的关键样本和 运行 这些过滤样本的任何自动指标。我希望这回答了你的问题。
从我的角度来看，我会比较对应于整个值范围 (1-10) 的整个测试步骤的测试测量值（分类性能、MSE、RMSE）。然后，当然，我会针对您认为关键的特定范围（假设在 1-3 之间）分别进行，并比较两个总体的差异。您甚至可以对两个群体之间差异的显着性进行一些统计（Wilcoxon 检验等）。
也许这个 link 对您的比较有用。因为你可以回归，你甚至可以比较 MSE 和 RMSE.