(tensorflow) 是否可以结合 GridLSTM 和 MLP/CNN？
(tensorflow) Is it possible to combine GridLSTM and MLP/CNN?
我正在尝试使用 GridLSTM 和 MLP/CNN 在图像上进行训练。
所以基本上我想尝试的是将图像输入到 GridLSTM，然后将其输出作为下一层馈入 MLP/CNN。
例如：
2-D image -> GridLSTM -> MLP or CNN -> GridLSTM -> MLP or CNN -> Output
我尝试了 运行 GridLSTM 的示例代码和 Cifar10 上的教程（用于 CNN）。
但是两个示例的输入和输出类型不同（GridLSTM 的列表和 CNN 的张量）。
而且我想知道是否可以首先将 GridLSTM 和 MLP/CNN 结合起来。
我联系了一位参与 GridLSTM 实现的同事，这是她的回复：
你不能。所以 LSTM 会消除时频相关性，所以我认为你不能将它传递给卷积层。也就是说，您可以有多个网格 LSTM 层。以此为例。
https://www.microsoft.com/en-us/research/wp-content/uploads/2016/06/TFLSTM-1.pdf
与 "Scene Labeling with LSTM Recurrent Neural Networks" 一样，我相信前馈层在 每一步 都将 LSTM 层的输出作为输入。假设 LSTM 层给你一个包含 N 个输出的列表，然后你需要遍历这个列表，并将前馈层应用到列表的每个元素。
这就是为什么在本文的图 1 中，您会看到 LSTM 层中的 3xnxn 块映射到前馈层中大小为 1x1 的块。您需要遍历整个图像才能计算前馈层的整个输出。这也解释了为什么他们只用了几十个单元的 LSTM 和前馈层。
现在，如何在 Tensorflow 中实现它取决于您。您可以使用 tf.scan() to iterate through the list of tensor given by LSTM, and apply the feedforward layer on each of the element; or you can concat the tensors in the list with tf.concat() 并应用具有合适大小的卷积运算。根据您的网络，一种方式可能比另一种方式更快。
希望对您有所帮助。
我正在尝试使用 GridLSTM 和 MLP/CNN 在图像上进行训练。
所以基本上我想尝试的是将图像输入到 GridLSTM，然后将其输出作为下一层馈入 MLP/CNN。
例如：
2-D image -> GridLSTM -> MLP or CNN -> GridLSTM -> MLP or CNN -> Output
我尝试了 运行 GridLSTM 的示例代码和 Cifar10 上的教程（用于 CNN）。
但是两个示例的输入和输出类型不同（GridLSTM 的列表和 CNN 的张量）。
而且我想知道是否可以首先将 GridLSTM 和 MLP/CNN 结合起来。
我联系了一位参与 GridLSTM 实现的同事，这是她的回复：
你不能。所以 LSTM 会消除时频相关性，所以我认为你不能将它传递给卷积层。也就是说，您可以有多个网格 LSTM 层。以此为例。
https://www.microsoft.com/en-us/research/wp-content/uploads/2016/06/TFLSTM-1.pdf
与 "Scene Labeling with LSTM Recurrent Neural Networks" 一样，我相信前馈层在 每一步 都将 LSTM 层的输出作为输入。假设 LSTM 层给你一个包含 N 个输出的列表，然后你需要遍历这个列表，并将前馈层应用到列表的每个元素。
这就是为什么在本文的图 1 中，您会看到 LSTM 层中的 3xnxn 块映射到前馈层中大小为 1x1 的块。您需要遍历整个图像才能计算前馈层的整个输出。这也解释了为什么他们只用了几十个单元的 LSTM 和前馈层。
现在，如何在 Tensorflow 中实现它取决于您。您可以使用 tf.scan() to iterate through the list of tensor given by LSTM, and apply the feedforward layer on each of the element; or you can concat the tensors in the list with tf.concat() 并应用具有合适大小的卷积运算。根据您的网络，一种方式可能比另一种方式更快。
希望对您有所帮助。