Watson Discovery 停止在随机时间抛出置信度分数
Watson Discovery stops throwing confidence score at random times
我们在机器人中使用 IBM 发现。我们已经用相关性和非相关性分数训练了集合。我们正在获取每个文档的置信度分数。我们使用这个置信度分数作为阈值来处理我们机器人中的不同用户查询。
自上周以来的观察发现,Discovery 在随机时间停止发送 API 调用的 json 中的置信度分数。因此,我们的机器人甚至无法回答简单的问题,因为我们添加了置信度分数阈值。然后突然间,它开始发送置信度分数。这种情况在过去一周发生了 2-3 次。在我们的发现控制台端,它说集合已经过训练。需要知道是什么触发了这种行为,以及是否有一些错误修复?
置信度分数仅适用于自然语言查询,也适用于训练有素的查询。如果您的查询不是自然语言或不是训练有素的语言,Discovery 将不会在结果中给出置信度分数。
最近在解决此问题的文档中添加了一条注释:"Note: The confidence field is only returned when relevancy training has been successfully completed. There may also be cases where the trained model is not available and the confidence field will not be returned. Applications using confidence as a threshold should ensure they can handle these scenarios. Since score is relative to the query, it is not recommended for use as a fixed threshold. Instead, we recommend that applications always perform the same behavior for all results that do not include the confidence field. For example, an application may show all results without the confidence field or hide all results without the confidence field, but should not use the value of score to show some and hide others."(强调我的)
该说明没有解决根本原因,但据我了解,它主要与速度有关。有时由于服务器负载、查询复杂性和文档复杂性的某种组合,计算置信度花费的时间太长,因此为了足够快地将 some 结果返回给调用应用程序,Discovery只会在没有信心的情况下将结果发回。
我们在机器人中使用 IBM 发现。我们已经用相关性和非相关性分数训练了集合。我们正在获取每个文档的置信度分数。我们使用这个置信度分数作为阈值来处理我们机器人中的不同用户查询。
自上周以来的观察发现,Discovery 在随机时间停止发送 API 调用的 json 中的置信度分数。因此,我们的机器人甚至无法回答简单的问题,因为我们添加了置信度分数阈值。然后突然间,它开始发送置信度分数。这种情况在过去一周发生了 2-3 次。在我们的发现控制台端,它说集合已经过训练。需要知道是什么触发了这种行为,以及是否有一些错误修复?
置信度分数仅适用于自然语言查询,也适用于训练有素的查询。如果您的查询不是自然语言或不是训练有素的语言,Discovery 将不会在结果中给出置信度分数。
最近在解决此问题的文档中添加了一条注释:"Note: The confidence field is only returned when relevancy training has been successfully completed. There may also be cases where the trained model is not available and the confidence field will not be returned. Applications using confidence as a threshold should ensure they can handle these scenarios. Since score is relative to the query, it is not recommended for use as a fixed threshold. Instead, we recommend that applications always perform the same behavior for all results that do not include the confidence field. For example, an application may show all results without the confidence field or hide all results without the confidence field, but should not use the value of score to show some and hide others."(强调我的)
该说明没有解决根本原因,但据我了解,它主要与速度有关。有时由于服务器负载、查询复杂性和文档复杂性的某种组合,计算置信度花费的时间太长,因此为了足够快地将 some 结果返回给调用应用程序,Discovery只会在没有信心的情况下将结果发回。