LSTM 门有多少个?

How many are LSTM Gates?

在谷歌搜索 LSTM 门时非常混乱,我发现一些参考资料和文章说它们是三个门:输入、忘记和输出门,而其他人说它们是四个门:学习、忘记、记住,并使用门 ?

那么,什么是正确的?

长短期记忆网络——通常简称为“LSTM”——是一种特殊的 RNN,能够学习长期依赖关系。所以有不同类型的 LSTM,LSTM 与 RNN 一样具有链状结构,但重复模块具有不同的结构。不是只有一个神经网络层,而是有四个,以一种非常特殊的方式进行交互。然而,LSTMS 有许多变体。

参考:http://colah.github.io/posts/2015-08-Understanding-LSTMs/

有四个门:输入调制门、输入门、遗忘门和输出门,代表四组参数。

我们可以看到在下图的LSTM中有四组参数(8个矩阵)被涂成蓝色,其中f代表遗忘门,g和i代表加法门,o代表输出门。由于添加门需要两组参数,我们可以将它们合并为一个门。

参考:
语音和语言处理