Keras：重塑以连接 lstm 和 conv

Question

这个问题也作为 github issue 存在。我想在 Keras 中构建一个包含 2D 卷积和 LSTM 层的神经网络。

网络应该对 MNIST 进行分类。 MNIST中的训练数据是60000张手写数字0到9的灰度图，每张图片28x28像素。

我将图像分成四个部分（left/right、up/down）并按四个顺序重新排列它们以获得 LSTM 的序列。

|     |      |1 | 2|
|image|  ->  -------   -> 4 sequences: |1|2|3|4|,  |4|3|2|1|, |1|3|2|4|, |4|2|3|1|
|     |      |3 | 4|

其中一个小子图像的尺寸为 14 x 14。四个序列沿宽度堆叠在一起（不管宽度还是高度）。

这将创建一个形状为 [60000, 4, 1, 56, 14] 的向量，其中：

60000为样本数
4 是序列中元素的数量（# of timesteps）
1 是颜色深度（灰度）
56和14是宽高

现在应该将其提供给 Keras 模型。问题是改变 CNN 和 LSTM 之间的输入维度。我在网上搜索了一下，发现了这个问题：

解决方案似乎是一个 Reshape 层，它可以使图像变平但保留时间步长（与 Flatten 层相反，它会折叠 batch_size 以外的所有内容）。

到目前为止，这是我的代码：

nb_filters=32
kernel_size=(3,3)
pool_size=(2,2)
nb_classes=10
batch_size=64

model=Sequential()

model.add(Convolution2D(nb_filters, kernel_size[0], kernel_size[1],
    border_mode="valid", input_shape=[1,56,14]))
model.add(Activation("relu"))
model.add(Convolution2D(nb_filters, kernel_size[0], kernel_size[1]))
model.add(Activation("relu"))
model.add(MaxPooling2D(pool_size=pool_size))


model.add(Reshape((56*14,)))
model.add(Dropout(0.25))
model.add(LSTM(5))
model.add(Dense(50))
model.add(Dense(nb_classes))
model.add(Activation("softmax"))

此代码创建错误消息：

ValueError: total size of new array must be unchanged

显然 Reshape 层的输入不正确。作为替代方案，我也尝试将时间步长传递给 Reshape 层：

model.add(Reshape((4,56*14)))

这感觉不对，无论如何，错误保持不变。

我这样做的方式正确吗？ Reshape 层是连接 CNN 和 LSTM 的合适工具吗？

解决这个问题的方法相当复杂。像这样： https://github.com/fchollet/keras/pull/1456 一个 TimeDistributed 层，它似乎隐藏了后续层的时间步维度。

或者这样：https://github.com/anayebi/keras-extra 一组用于组合 CNN 和 LSTM 的特殊层。

如果简单的 Reshape 就可以解决问题，为什么会有如此复杂的解决方案（至少它们对我来说看起来很复杂）？

更新:

尴尬的是，我忘记了池化和（由于缺少填充）卷积也会改变维度。 kgrm 建议我使用 model.summary() 检查尺寸。

Reshape层之前的层的输出为(None, 32, 26, 5)，我将整形更改为：model.add(Reshape((32*26*5,))).

现在 ValueError 消失了，取而代之的是 LSTM 抱怨：

Exception: Input 0 is incompatible with layer lstm_5: expected ndim=3, found ndim=2

看来我需要将timestep维度全网传递。我怎样才能做到这一点？如果我将它添加到卷积的 input_shape 中，它也会抱怨：Convolution2D(nb_filters, kernel_size[0], kernel_size[1], border_mode="valid", input_shape=[4, 1, 56,14])

Exception: Input 0 is incompatible with layer convolution2d_44: expected ndim=4, found ndim=5

Answer 1

根据 Convolution2D 定义，您的输入必须是 4 维的，维度为 (samples, channels, rows, cols)。这是您收到错误的直接原因。

要解决这个问题，您必须使用 TimeDistributed 包装器。这允许您跨时间使用静态（非循环）层。

Keras：重塑以连接 lstm 和 conv

Keras: reshape to connect lstm and conv

python

machine-learning

neural-network

theano

keras