如何训练 RNN 进行单词替换?
How to train a RNN for word replacement?
我对如何使用一个简单的递归神经网络有所了解,该神经网络读取一个字符序列并生成另一个序列,其中每个字符都是前一个字符的函数。但是我不知道如何实现单词替换所需的那种延迟输出生成。
比如我们要把bar
替换成foo
,那么我们必须等到看到b
、a
和r
再生成第一个f
。否则 baz
将被重写为 foz
或类似的。
网络如何能够学习替换任意长的单词的样子?
有很多可能性。例如:
1) 使用整个单词作为输入,编码为单热输入向量或预训练词嵌入
2) 使用同时识别前一个和下一个字符的 bi-directional RNN
我对如何使用一个简单的递归神经网络有所了解,该神经网络读取一个字符序列并生成另一个序列,其中每个字符都是前一个字符的函数。但是我不知道如何实现单词替换所需的那种延迟输出生成。
比如我们要把bar
替换成foo
,那么我们必须等到看到b
、a
和r
再生成第一个f
。否则 baz
将被重写为 foz
或类似的。
网络如何能够学习替换任意长的单词的样子?
有很多可能性。例如:
1) 使用整个单词作为输入,编码为单热输入向量或预训练词嵌入 2) 使用同时识别前一个和下一个字符的 bi-directional RNN