处理列表实体上的拼写错误/拼写错误
Handling typos / misspellings on list entities
处理 LUIS 列表实体上的拼写错误/拼写错误的最佳做法是什么?
我有意使用列表实体(特别是公司部门 - 人力资源、财务等)的 LUIS。用户在提出自己的话语时,通常会拼错这个。 LUIS 需要完全匹配,它不会执行 "smart" 匹配,因此不会选择拼写错误的实体。
a) 使用 bing 拼写检查不一定是好的解决方案。例如某些部门是首字母缩略词,例如 VRPA - bing 不会更正其中的拼写错误。
b) 当我一年前使用 LUIS 时,我会预处理话语并使用 Levenshtein 距离算法修复列表实体上的拼写错误,然后再将它们提供给 LUIS。
我想现在 LUIS 有一些更好的开箱即用的方法来处理这个非常常见的用例。
非常感谢您提供有关处理此问题的最佳实践方法的意见。
@acambitsis 和我通过他的 UserVoice 票交换了消息,但我要post在这里为其他人提供答案。
Bing and Simple Entities 的组合可能就是您要找的(它们是机器学习的)。
我完成了一些接近的事情并附上了图片。
在 entities 中,我创建了一个具有角色 VRPA 的简单实体。在 intents 中,我创建了 Show Me 意图并添加了示例话语 "Show me the VRPA" 和 "Show me the VPRA"。我单击了 V**A 并选择了 Simple Entity:VRPA 角色。训练后,我尝试了 "show me the varp",它正确地猜测 "varp" 是 "Simple:VRPA" 实体。
您可能还会发现 RegEx entities 有用。对于首字母缩略词,您可以执行以下操作:/[vrpa]/i
然后 VRPA/VPRA/VARP/ARVP 的任何组合都会匹配。
我强烈建议通读 Entity Types and Improve App Performance 看看是否有什么可以解决您的特定问题。
这可能不完全符合您的要求。如果没有,我建议实施您选择的模糊匹配算法。
实体
意图
处理 LUIS 列表实体上的拼写错误/拼写错误的最佳做法是什么?
我有意使用列表实体(特别是公司部门 - 人力资源、财务等)的 LUIS。用户在提出自己的话语时,通常会拼错这个。 LUIS 需要完全匹配,它不会执行 "smart" 匹配,因此不会选择拼写错误的实体。 a) 使用 bing 拼写检查不一定是好的解决方案。例如某些部门是首字母缩略词,例如 VRPA - bing 不会更正其中的拼写错误。 b) 当我一年前使用 LUIS 时,我会预处理话语并使用 Levenshtein 距离算法修复列表实体上的拼写错误,然后再将它们提供给 LUIS。
我想现在 LUIS 有一些更好的开箱即用的方法来处理这个非常常见的用例。
非常感谢您提供有关处理此问题的最佳实践方法的意见。
@acambitsis 和我通过他的 UserVoice 票交换了消息,但我要post在这里为其他人提供答案。
Bing and Simple Entities 的组合可能就是您要找的(它们是机器学习的)。
我完成了一些接近的事情并附上了图片。
在 entities 中,我创建了一个具有角色 VRPA 的简单实体。在 intents 中,我创建了 Show Me 意图并添加了示例话语 "Show me the VRPA" 和 "Show me the VPRA"。我单击了 V**A 并选择了 Simple Entity:VRPA 角色。训练后,我尝试了 "show me the varp",它正确地猜测 "varp" 是 "Simple:VRPA" 实体。
您可能还会发现 RegEx entities 有用。对于首字母缩略词,您可以执行以下操作:/[vrpa]/i
然后 VRPA/VPRA/VARP/ARVP 的任何组合都会匹配。
我强烈建议通读 Entity Types and Improve App Performance 看看是否有什么可以解决您的特定问题。
这可能不完全符合您的要求。如果没有,我建议实施您选择的模糊匹配算法。
实体
意图