将阈值应用于 LUIS,如 Kore.ai(确定的、可能的和消除的)
Applying threshold to LUIS like Kore.ai ( Definitive, Possible and Eliminated)
我有一个调用 LUIS 和 Kore.ai 进行意图识别的 Web 应用程序。在 Kore 中,我能够为确定的、可能的和消除的设置阈值。不幸的是,LUIS 中没有这样的选项,我最终使用了得分最高的 Intent。我自己定义了一个阈值,这样我就可以像 Kore 的反应一样匹配。
但是,很少有意图(通过 LUIS 识别)低于阈值(像我们在 Kore 中所做的那样设置)并被淘汰,但 LUIS 正确给出得分最高的意图。我们如何处理?
为 LUIS 结果(如 Kore)设置阈值的逻辑是否正确?或者我应该使用 LUIS 的得分最高的意图作为最终的。
您想要尝试将这两种服务等同起来是可以理解的,但您不应该这样做。每个服务使用的方法、算法等似乎差异太大(因此,LUIS 返回的大多数意图都高于您尝试与 Kore.ai 对齐的阈值。
如果您打算同时使用 LUIS 和 Kore.ai,那么您应该按照设计来使用它们。换句话说,使用 LUIS 的最高得分意图。
或者,您可以为 LUIS 构建一组阈值,产生与 Kore.ai 相似的结果,但不按值对齐。例如,如果明确捕获前两个,则调整 LUIS 阈值以执行相同的操作。
我实际上不会推荐这个,因为它可能需要相当多的设置,并且不能保证这些值一定会与为匹配 Kore.ai 而创建的阈值保持一致,因为 LUIS 结果是 non-deterministic.
我有一个调用 LUIS 和 Kore.ai 进行意图识别的 Web 应用程序。在 Kore 中,我能够为确定的、可能的和消除的设置阈值。不幸的是,LUIS 中没有这样的选项,我最终使用了得分最高的 Intent。我自己定义了一个阈值,这样我就可以像 Kore 的反应一样匹配。
但是,很少有意图(通过 LUIS 识别)低于阈值(像我们在 Kore 中所做的那样设置)并被淘汰,但 LUIS 正确给出得分最高的意图。我们如何处理?
为 LUIS 结果(如 Kore)设置阈值的逻辑是否正确?或者我应该使用 LUIS 的得分最高的意图作为最终的。
您想要尝试将这两种服务等同起来是可以理解的,但您不应该这样做。每个服务使用的方法、算法等似乎差异太大(因此,LUIS 返回的大多数意图都高于您尝试与 Kore.ai 对齐的阈值。
如果您打算同时使用 LUIS 和 Kore.ai,那么您应该按照设计来使用它们。换句话说,使用 LUIS 的最高得分意图。
或者,您可以为 LUIS 构建一组阈值,产生与 Kore.ai 相似的结果,但不按值对齐。例如,如果明确捕获前两个,则调整 LUIS 阈值以执行相同的操作。
我实际上不会推荐这个,因为它可能需要相当多的设置,并且不能保证这些值一定会与为匹配 Kore.ai 而创建的阈值保持一致,因为 LUIS 结果是 non-deterministic.