如果我 运行 针对具有多个类别的模型进行预测,分数是否会在所有类别中分配?
If I run a prediction against a model with multiple categories, are the scores split amongst all categories?
假设我创建了一个模型,其中 10 个类别中的每个类别包含约 30 个项目。我已经采用了所有提供给我的默认值。
该模型的平均 F1 分数是 0.875(我有 2 个非常密切相关的类别,所以这有点影响准确性)。
如果我对一段应该与类别 3 和 8 正向匹配的文本进行实时预测,我得到以下结果:
{
"Prediction": {
"details": {
"Algorithm": "SGD",
"PredictiveModelType": "MULTICLASS"
},
"predictedLabel": "8",
"predictedScores": {
"1": 0.002642059000208974,
"2": 0.010648942552506924,
"3": 0.41401588916778564,
"4": 0.02918998710811138,
"5": 0.008376320824027061,
"6": 0.009010250680148602,
"7": 0.006029266398400068,
"8": 0.4628857374191284,
"9": 0.04102163389325142,
"10": 0.01617990992963314
}
}
}
我想知道 3 和 8 是否实际上都具有 ~80% 的确定性,但因为它们都匹配,所以确定性在两者之间被分割。如果您对所有 predictedScores
求和,您会得到 .999999997,这让我怀疑是否有一个总分 1.0 被分配到每个可用类别中...
如果我改为设置 10 个不同的模型,并分别对每个模型进行二进制匹配,我会看到 3 和 8 的得分更高(例如接近 0.8)吗?
我想有一个相关的问题,我真的不需要回答,但可能有助于澄清整个问题,是......如果我有一篇绝对适合所有 10 个类别的理论文本,亚马逊机器学习可以吗?响应每个类别的 predictedScore
值 1.0?或者,因为最大值 predictedScore
是 1.0,所以每个类别是否 return 0.1?
Amazon ML returns 从输入集中已知的每个类别的概率。因为它们是真实的建模概率,所以它们总和必须为 1。换句话说,你说 "there's a total 1.0 score that gets split amongst each of the available categories..."
是正确的
这是一个参考页面,可以回答这个问题和您的其他一些问题:
http://docs.aws.amazon.com/machine-learning/latest/dg/reading-the-batchprediction-output-files.html#interpreting-the-contents-of-batch-prediction-files-for-a-multiclass-classification-ml-model
假设我创建了一个模型,其中 10 个类别中的每个类别包含约 30 个项目。我已经采用了所有提供给我的默认值。
该模型的平均 F1 分数是 0.875(我有 2 个非常密切相关的类别,所以这有点影响准确性)。
如果我对一段应该与类别 3 和 8 正向匹配的文本进行实时预测,我得到以下结果:
{
"Prediction": {
"details": {
"Algorithm": "SGD",
"PredictiveModelType": "MULTICLASS"
},
"predictedLabel": "8",
"predictedScores": {
"1": 0.002642059000208974,
"2": 0.010648942552506924,
"3": 0.41401588916778564,
"4": 0.02918998710811138,
"5": 0.008376320824027061,
"6": 0.009010250680148602,
"7": 0.006029266398400068,
"8": 0.4628857374191284,
"9": 0.04102163389325142,
"10": 0.01617990992963314
}
}
}
我想知道 3 和 8 是否实际上都具有 ~80% 的确定性,但因为它们都匹配,所以确定性在两者之间被分割。如果您对所有 predictedScores
求和,您会得到 .999999997,这让我怀疑是否有一个总分 1.0 被分配到每个可用类别中...
如果我改为设置 10 个不同的模型,并分别对每个模型进行二进制匹配,我会看到 3 和 8 的得分更高(例如接近 0.8)吗?
我想有一个相关的问题,我真的不需要回答,但可能有助于澄清整个问题,是......如果我有一篇绝对适合所有 10 个类别的理论文本,亚马逊机器学习可以吗?响应每个类别的 predictedScore
值 1.0?或者,因为最大值 predictedScore
是 1.0,所以每个类别是否 return 0.1?
Amazon ML returns 从输入集中已知的每个类别的概率。因为它们是真实的建模概率,所以它们总和必须为 1。换句话说,你说 "there's a total 1.0 score that gets split amongst each of the available categories..."
是正确的这是一个参考页面,可以回答这个问题和您的其他一些问题: http://docs.aws.amazon.com/machine-learning/latest/dg/reading-the-batchprediction-output-files.html#interpreting-the-contents-of-batch-prediction-files-for-a-multiclass-classification-ml-model