如何训练 RNN 进行单词替换?

How to train a RNN for word replacement?

我对如何使用一个简单的递归神经网络有所了解,该神经网络读取一个字符序列并生成另一个序列,其中每个字符都是前一个字符的函数。但是我不知道如何实现单词替换所需的那种延迟输出生成。

比如我们要把bar替换成foo,那么我们必须等到看到bar再生成第一个f。否则 baz 将被重写为 foz 或类似的。

网络如何能够学习替换任意长的单词的样子?

有很多可能性。例如:

1) 使用整个单词作为输入,编码为单热输入向量或预训练词嵌入 2) 使用同时识别前一个和下一个字符的 bi-directional RNN