如果我 运行 针对具有多个类别的模型进行预测,分数是否会在所有类别中分配?

If I run a prediction against a model with multiple categories, are the scores split amongst all categories?

假设我创建了一个模型,其中 10 个类别中的每个类别包含约 30 个项目。我已经采用了所有提供给我的默认值。

该模型的平均 F1 分数是 0.875(我有 2 个非常密切相关的类别,所以这有点影响准确性)。

如果我对一段应该与类别 3 和 8 正向匹配的文本进行实时预测,我得到以下结果:

{
    "Prediction": {
        "details": {
            "Algorithm": "SGD",
            "PredictiveModelType": "MULTICLASS"
        },
        "predictedLabel": "8",
        "predictedScores": {
            "1": 0.002642059000208974,
            "2": 0.010648942552506924,
            "3": 0.41401588916778564,
            "4": 0.02918998710811138,
            "5": 0.008376320824027061,
            "6": 0.009010250680148602,
            "7": 0.006029266398400068,
            "8": 0.4628857374191284,
            "9": 0.04102163389325142,
            "10": 0.01617990992963314
        }
    }
}

我想知道 3 和 8 是否实际上都具有 ~80% 的确定性,但因为它们都匹配,所以确定性在两者之间被分割。如果您对所有 predictedScores 求和,您会得到 .999999997,这让我怀疑是否有一个总分 1.0 被分配到每个可用类别中...

如果我改为设置 10 个不同的模型,并分别对每个模型进行二进制匹配,我会看到 3 和 8 的得分更高(例如接近 0.8)吗?

我想有一个相关的问题,我真的不需要回答,但可能有助于澄清整个问题,是......如果我有一篇绝对适合所有 10 个类别的理论文本,亚马逊机器学习可以吗?响应每个类别的 predictedScore 值 1.0?或者,因为最大值 predictedScore 是 1.0,所以每个类别是否 return 0.1?

Amazon ML returns 从输入集中已知的每个类别的概率。因为它们是真实的建模概率,所以它们总和必须为 1。换句话说,你说 "there's a total 1.0 score that gets split amongst each of the available categories..."

是正确的

这是一个参考页面,可以回答这个问题和您的其他一些问题: http://docs.aws.amazon.com/machine-learning/latest/dg/reading-the-batchprediction-output-files.html#interpreting-the-contents-of-batch-prediction-files-for-a-multiclass-classification-ml-model