Amazon Transcribe/Lex 在通话期间有反馈

Amazon Transcribe/Lex with feedback during the call

我是 AWS 服务的新手,我们想构建一个简单的演示来检测一个特殊的词并:[1] 触发一个动作 [2] 响应(如通话期间的语音)。

例如,如果用户说:“帮助”我想回复“确定”并进行操作(AWS lambda)。

我们正在使用 Twilio,Twilio 应该流式传输音频。

据我所知,我有两个选择,Android Lex 和 Transcribe,当 Lex 用于机器人时,transcribe 只是翻译语音,不能参与对话。

所以问题是:

  1. 当对话中识别并涉及特殊词时,我应该使用什么服务来触发操作?

  2. 我可以通过 Twilio 将呼叫直接流式传输到 AWS 服务吗?

编辑

说得更清楚:通信将与两个人实时进行,我想在他们通话期间有人说“帮助”时插话我想在对话中添加机器人语音并说“好的“,例如

[Person 1]: Hi, how are you

[Person 2]: HELP ...

[BOT]: OK (like a third person in a conference call..).

在用户介入帮助之前,我并不完全清楚与用户进行的交互。他们是在收听机器人、媒体文件、TTS 还是与其他人实时交流?

对于实时分析,您需要使用 Twilio Media Streams,它将语音对话流式传输到服务,然后可以近乎实时地将语音转换为文本,查找关键字,然后以编程方式执行一些基于在那些关键字上。

将 Twilio Media 流与 Lex 结合使用的示例:

Use Amazon Lex as a conversational interface with Twilio Media Streams