Azure 认知服务:丢失的自定义视觉性能统计数据在哪里?
Azure Cognitive Services: Where are the missing Custom Vision Performance Statistics?
我正在查询 Azure Custom Vision V3.0 培训 API(参见 https://westeurope.dev.cognitive.microsoft.com/docs/services/Custom_Vision_Training_3.0/operations/5c771cdcbf6a2b18a0c3b809),因此我可以通过 GetIterationPerformance 操作自行生成每个标签的 ROC,其输出的一部分是:
{u'averagePrecision': 0.92868346,
u'perTagPerformance': [{u'averagePrecision': 0.4887446,
u'id': u'uuid1',
u'name': u'tag_name_1',
u'precision': 0.0,
u'precisionStdDeviation': 0.0,
u'recall': 0.0,
u'recallStdDeviation': 0.0},
{u'averagePrecision': 1.0,
u'id': u'uuid2',
u'name': u'tag_name_2',
u'precision': 0.0,
u'precisionStdDeviation': 0.0,
u'recall': 0.0,
u'recallStdDeviation': 0.0},
{u'averagePrecision': 0.9828302,
u'id': u'uuid3',
u'name': u'tag_name_3',
u'precision': 1.0,
u'precisionStdDeviation': 0.0,
u'recall': 0.5555556,
u'recallStdDeviation': 0.0}],
u'精度':0.9859485,
u'precisionStdDeviation':0.0,
你记得':0.3752228,
u'recallStdDeviation': 0.0}
准确率和召回率的不确定性,分别为 precisionStdDeviation
和 recallStdDeviation
,似乎始终为 0.0。这是用户错误吗?如果不是,是否有计划激活这些统计数据?
所以目前 precisionStdDeviation
和 recallStdDeviation
没有被使用所以它总是零,这不是用户错误。这两个指标的存在是因为之前我们对用户数据集进行了交叉验证,并且对于每个交叉验证折叠我们都有一个精确度和召回率,stddev 测量跨折叠的精确度和召回率的变化。现在我们不再进行交叉验证,而是将一部分用户数据拆分为验证集并据此报告 IterationPerformance,因为没有多重折叠,stddev 将始终为零。我们正在计划停用这两个字段,很抱歉造成混淆,很可能会在下一个主要版本中将其删除。
我正在查询 Azure Custom Vision V3.0 培训 API(参见 https://westeurope.dev.cognitive.microsoft.com/docs/services/Custom_Vision_Training_3.0/operations/5c771cdcbf6a2b18a0c3b809),因此我可以通过 GetIterationPerformance 操作自行生成每个标签的 ROC,其输出的一部分是:
{u'averagePrecision': 0.92868346,
u'perTagPerformance': [{u'averagePrecision': 0.4887446,
u'id': u'uuid1',
u'name': u'tag_name_1',
u'precision': 0.0,
u'precisionStdDeviation': 0.0,
u'recall': 0.0,
u'recallStdDeviation': 0.0},
{u'averagePrecision': 1.0,
u'id': u'uuid2',
u'name': u'tag_name_2',
u'precision': 0.0,
u'precisionStdDeviation': 0.0,
u'recall': 0.0,
u'recallStdDeviation': 0.0},
{u'averagePrecision': 0.9828302,
u'id': u'uuid3',
u'name': u'tag_name_3',
u'precision': 1.0,
u'precisionStdDeviation': 0.0,
u'recall': 0.5555556,
u'recallStdDeviation': 0.0}],
u'精度':0.9859485, u'precisionStdDeviation':0.0, 你记得':0.3752228, u'recallStdDeviation': 0.0}
准确率和召回率的不确定性,分别为 precisionStdDeviation
和 recallStdDeviation
,似乎始终为 0.0。这是用户错误吗?如果不是,是否有计划激活这些统计数据?
所以目前 precisionStdDeviation
和 recallStdDeviation
没有被使用所以它总是零,这不是用户错误。这两个指标的存在是因为之前我们对用户数据集进行了交叉验证,并且对于每个交叉验证折叠我们都有一个精确度和召回率,stddev 测量跨折叠的精确度和召回率的变化。现在我们不再进行交叉验证,而是将一部分用户数据拆分为验证集并据此报告 IterationPerformance,因为没有多重折叠,stddev 将始终为零。我们正在计划停用这两个字段,很抱歉造成混淆,很可能会在下一个主要版本中将其删除。