类似 Siri 的应用程序:计算查询和一组预定义的控制短语之间的相似性

Siri-like app: calculating similarities between a query and a predefined set of control phrases

我正在尝试在 python 中制作一个类似 Apple Siri 的应用程序,您可以在其中通过麦克风向它发出声音命令或问题,它会确定输入音频的文本版本,然后确定合适的根据 command/question 的含义采取的行动。我将使用语音识别库接受麦克风输入并将语音转换为文本(通过 IBM Watson Speech to Text API)。

我现在遇到的主要问题是,当我定义一个动作让应用程序在询问 given/question 时执行适当的命令时,我不知道如何确定所说的是否command/question 表示该操作。让我用一个例子来阐明我的意思:

假设我们有一个名为 hello 的操作。有人可以通过多种方式对另一个人(或在本例中为我的应用程序)说 "hello",例如:

当然,我希望所有这些"hello"的表达方式都归类在hello的作用下。也就是说,当有人说 "hello"、"hi" 或 "howdy" 时,应该执行操作 hello 的响应(很可能只是应用说 "hello"在这种情况下返回)。

关于如何解决这个问题,我的第一个想法是为应用程序提供所有或最常见的方式来表达某个 command/question。所以,如果我按照前面的例子,我会告诉计算机 "hello"、"hi" 和 "howdy" 都表示同一件事:hello 操作。然而,这种方法有几个缺陷。首先,它根本无法理解没有硬编码的 "hello" 的表达方式,例如 "hey"。其次,一旦开始对新 commands/questions 的响应进行编码,输入所有说某个短语的方式就会变得非常乏味。

于是,由于上述问题,我开始研究如何计算一组句子和单个查询之间的相似度。我最终遇到了 python 的 Gensim 库。我调查了一下,发现了一些关于复杂过程的非常有前途的信息,例如潜在语义 indexing/analysis (LSI/LSA) 和 Tf-idf。但是,在我看来,这些东西主要用于比较字数较多的文档,因为它们依赖于某些术语的出现频率。假设这是真的,这些过程不会真正为我提供准确的结果,因为给我的应用程序的 commands/questions 可能平均大约八个字。我可能完全错了,毕竟我对这些过程知之甚少。

我还发现了 WordNet,以及如何使用自然语言工具包 (NLTK) 在 python 中使用它。看起来它可能有用,但我不确定如何。

所以,最后,我想我真正的问题是什么是我提到的问题的最佳解决方案?我应该使用我提到的方法之一吗?或者有没有更好的方法来做我想做但我不知道的事情?

如有任何帮助,我们将不胜感激。提前致谢。

P.S。抱歉冗长的解释;我想确定我是否清楚 :P

这是一道难题。它也是 Task 11 of this year's set of Semantic evaluation challenges (Semeval 2017). So take a look at the task description 的主题,它将为您提供如何解决此问题的路线图。该任务还附带一套训练数据,这对于解决此类问题至关重要。挑战仍在继续,但最终您也将能够从解决方案中学习。

所以 "how do I determine if some command/question is denoting a certain action" 的简短回答是:使用来自 Semeval2017(当然也可以是你自己的)的训练数据,并编写一个分类器。 nltk book 可以帮助您加快编写分类器的速度。