TensorFlow:简单的递归神经网络

TensorFlow: simple recurrent neural network

我已经使用 TensorFlow 构建了一些神经网络,例如基本的 MLP 和卷积神经网络。现在我想继续学习循环神经网络。但是,我在自然语言处理方面没有经验。因此,RNN 的 TensorFlow NLP 教程对我来说并不容易阅读(也不是很有趣)。

基本上我想从一些简单的东西开始,而不是 LSTM。

如何在 TensorFlow 中构建一个简单的循环神经网络,例如 Elman 网络?

我只能找到 TensorFlow 的 GRU- 或 LSTM RNN 示例,主要用于 NLP。有谁知道一些简单的循环神经网络教程或 TensorFlow 示例?

此图显示了一个基本的 Elman 网络,通常简称为 SRN(简单循环网络):

一种选择是使用位于 tensorflow/python/ops/rnn_cell.py 中的内置 RNNCell。

如果您不想这样做,可以制作自己的 RNN。 RNN 将使用时间反向传播进行训练。尝试将网络展开固定数量的步骤,例如考虑长度为 10 的输入序列。然后,您可以在 python 中编写一个循环,为网络的每一步执行所有矩阵乘法。每次您都可以获取上一步的输出并将其与该步骤的输入连接起来。它不会有太多的代码行来使这个工作。