MS 认知服务面部 API 置信度分数随 releases/learning 变化?

MS Cognitive service Face API confidence scores changing with releases/learning?

我们已经完成了一项广泛的练习,比较面部 recognition/matching 提供者使用我们本地的面部图像数据集。

对于给定的 False Accept Rate (FAR)

MS Cognitive 服务在 False Rejects Rate (FRR) 方面名列前茅。我们正忙于确定不同图像类型匹配(自拍与文档等)的通过阈值。

问题是,如果我们使用特定版本 (https://{endpoint}/face/v1.0/) 和固定参数 DetectVerify 端点(recognitionModel = recognition_02detectionModel = detection_02),随着时间的推移或微软发布新版本时,我们能否期望看到相同两张图片的置信度得分发生变化? 我们担心的是,我们根据我们的测试结果和当前的置信度分数选择了一个通过阈值,然后由于machine-learning/releases,未来分数会发生变化,这意味着我们将不得不不断地重新调整我们的阈值。

https://westus.dev.cognitive.microsoft.com/docs/services/563879b61984550e40cbbe8d/operations/563879b61984550f3039523a

我认为这是一个关于 MS Azure 认知服务模型功能稳定性的好问题,比如 Face API。根据我对机器学习的了解,有一些可能的原因会导致您所说的问题,如下所示。

  1. 机器学习模型的结构将随着服务升级而改变。
  2. 升级后的服务版本开始支持新的API,新参数与当前版本不同。

当然,我认为以上两种情况绝对有可能发生。不过,有3个理由让我相信不会对你造成太大影响。

  1. 微软作为市场上的大型云提供商,对于相同的应用场景,它会确保升级后的服务return与上一个相同的输入数据输出相同的日期,甚至升级ML模型以提高更好的性能。然后,MS 可以让普通客户继续使用和支付他们的 Azure 订阅。
  2. 除了一些预览服务外,MS作为一家成功的IT公司,它会保持其服务功能与以前的服务功能兼容,例如MS Office 365仍然与旧版本兼容。
  3. 如果新版本真的出现不兼容问题,我想MS会给旧版本用户的迁移指南。

考虑到最坏的情况,从技术上讲,有许多开源人脸识别解决方案可以作为您的后备方案。没什么大不了的。