如何根据用户话语更正 LUIS.AI 应用程序中的拼写错误?使用 Bing 拼写检查器 api 或在意图中标记拼写错误的单词
How to correct spelling errors in a LUIS.AI application from user utterances? Use the Bing spellchecker api or label misspelled words in intents
此处的一篇文章对使用 Bing 拼写检查器 api 将所有用户话语清洗到机器人频道提出了一些警告。
要点是当拼写检查器打开时实体可能会变得混乱?因此,如果您有一个晦涩的词样式实体 starblazingIT,则可能会将其重构为 star blazing IT。从而伤害实体。
话虽如此,这篇文章写于 2016 年,所以也许这个问题已经得到解决,但我找不到任何相关文档。
我在它上面找到的文档提供了一个忽略拼写错误和简单标记话语的出口,LUIS 将学习正确的拼写和拼写错误......这是一个加载的语句。这到底是什么意思,路易斯是真的在学习正确的拼写,还是只是在其中添加错误的拼写作为替代答案?
因为如果是这种情况,那么人们将不得不一直观察拼写错误的话语并添加变体。或者 Luis 加班训练是否会了解到特定单词可能有变体和拼写错误,并将其添加到正确的话语意图模型中?
这是 link to the article 和下面的引用:
Ignore spelling mistakes
If you don't want to use the Bing Spell Check API v7 service, you can label utterances that have spelling mistakes so that LUIS can learn proper spelling as well as typos. This option requires more labeling effort than using a spell checker.
总的来说,您的 luis 聊天机器人应用程序的单词拼写错误纠正最佳实践是什么?
这里没有正确答案,但你必须做一个或另一个。未经培训,LUIS 无法很好地处理拼写错误。例如,"I want to look up my order" 对我的 viewOrder 意图有 99.7% 的信心,但 "I want to look up my odrer" 只有 36.4%,低于我的意图识别阈值。拼写检查捕获并修复此问题。在所有意图中,您可能会有几乎无穷无尽的拼写错误。因此,虽然标记新话语并不难(无论如何你都应该这样做来改进你的模型),但这将是一项持续的努力。
我刚才做了一些测试,拼写检查似乎对混搭、行业特定术语和软件名称的容忍度更高。例如,它不再像您链接的文章中提到的那样拆分 SmartIT。但我肯定会建议您使用实体名称进行测试,并确保它不会 "correct" 您不想更正的单词。
我的建议是使用 Bing,如果需要,修改您的实体标识(在示例文章中,可以将 SmartIT 和 Smart IT 都识别为实体)。
此处的一篇文章对使用 Bing 拼写检查器 api 将所有用户话语清洗到机器人频道提出了一些警告。
要点是当拼写检查器打开时实体可能会变得混乱?因此,如果您有一个晦涩的词样式实体 starblazingIT,则可能会将其重构为 star blazing IT。从而伤害实体。
话虽如此,这篇文章写于 2016 年,所以也许这个问题已经得到解决,但我找不到任何相关文档。
我在它上面找到的文档提供了一个忽略拼写错误和简单标记话语的出口,LUIS 将学习正确的拼写和拼写错误......这是一个加载的语句。这到底是什么意思,路易斯是真的在学习正确的拼写,还是只是在其中添加错误的拼写作为替代答案?
因为如果是这种情况,那么人们将不得不一直观察拼写错误的话语并添加变体。或者 Luis 加班训练是否会了解到特定单词可能有变体和拼写错误,并将其添加到正确的话语意图模型中?
这是 link to the article 和下面的引用:
Ignore spelling mistakes If you don't want to use the Bing Spell Check API v7 service, you can label utterances that have spelling mistakes so that LUIS can learn proper spelling as well as typos. This option requires more labeling effort than using a spell checker.
总的来说,您的 luis 聊天机器人应用程序的单词拼写错误纠正最佳实践是什么?
这里没有正确答案,但你必须做一个或另一个。未经培训,LUIS 无法很好地处理拼写错误。例如,"I want to look up my order" 对我的 viewOrder 意图有 99.7% 的信心,但 "I want to look up my odrer" 只有 36.4%,低于我的意图识别阈值。拼写检查捕获并修复此问题。在所有意图中,您可能会有几乎无穷无尽的拼写错误。因此,虽然标记新话语并不难(无论如何你都应该这样做来改进你的模型),但这将是一项持续的努力。
我刚才做了一些测试,拼写检查似乎对混搭、行业特定术语和软件名称的容忍度更高。例如,它不再像您链接的文章中提到的那样拆分 SmartIT。但我肯定会建议您使用实体名称进行测试,并确保它不会 "correct" 您不想更正的单词。
我的建议是使用 Bing,如果需要,修改您的实体标识(在示例文章中,可以将 SmartIT 和 Smart IT 都识别为实体)。