Keras 中的深度卷积神经网络
Deep Convolutional Neural Network in Keras
嗨，我正在尝试增加 keras 中现有卷积网络的深度。以下是现有网络：
model = Sequential()
model.add(Convolution2D(32, nb_conv, nb_conv, border_mode='valid', input_shape=(1, img_rows, img_cols)))
model.add(Activation('relu'))
model.add(Convolution2D(32, nb_conv, nb_conv))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(nb_pool, nb_pool)))
model.add(Dropout(0.25))
model.add(Convolution2D(64, nb_conv, nb_conv, border_mode='valid'))
model.add(Activation('relu'))
model.add(Convolution2D(64, nb_conv, nb_conv))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(nb_pool, nb_pool)))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(256))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(nb_classes))
model.add(Activation('softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adadelta')
我正在尝试通过添加如下几个卷积层来增加网络的深度：
model = Sequential()
model.add(Convolution2D(32, nb_conv, nb_conv, border_mode='valid', input_shape=(1, img_rows, img_cols)))
model.add(Activation('relu'))
model.add(Convolution2D(32, nb_conv, nb_conv))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(nb_pool, nb_pool)))
model.add(Dropout(0.25))
model.add(Convolution2D(64, nb_conv, nb_conv, border_mode='valid'))
model.add(Activation('relu'))
model.add(Convolution2D(64, nb_conv, nb_conv))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(nb_pool, nb_pool)))
model.add(Dropout(0.25))
model.add(Convolution2D(128, nb_conv, nb_conv, border_mode='valid'))
model.add(Activation('relu'))
model.add(Convolution2D(128, nb_conv, nb_conv))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(nb_pool, nb_pool)))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(256))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(nb_classes))
model.add(Activation('softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adadelta')
Keras 给我一个错误。我不确定哪里出了问题，但似乎张量形状是错误的。下面是错误。
This could be a known bug in CUDA, please see the GpuCorrMM() documentation.
Apply node that caused the error: GpuCorrMM{valid, (1, 1)}(GpuContiguous.0, GpuContiguous.0)
Toposort index: 181
Inputs types: [CudaNdarrayType(float32, 4D), CudaNdarrayType(float32, 4D)]
Inputs shapes: [(128, 128, 2, 2), (128, 128, 3, 3)]
Inputs strides: [(512, 4, 2, 1), (1152, 9, 3, 1)]
Inputs values: ['not shown', 'not shown']
Outputs clients: [[GpuElemwise{Add}[(0, 0)](GpuCorrMM{valid, (1, 1)}.0, GpuReshape{4}.0)]]
HINT: Re-running with most Theano optimization disabled could give you a back-trace of when this node was created. This can be done with by setting the Theano flag 'optimizer=fast_compile'. If that does not work, Theano optimizations can be disabled with 'optimizer=None'.
HINT: Use the Theano flag 'exception_verbosity=high' for a debugprint and storage map footprint of this apply node.
我的输入是 28 x 28 像素的图像。
谁能指出我的模型有什么问题？
答案很可能与图像大小有关。我的图像尺寸是 28x28 图像。当我们执行卷积和池化（没有零填充）时，特征图的大小会减小。因此，卷积层和池化层的数量将根据输入图像的维度而受到限制。
以下来自http://cs231n.github.io/convolutional-networks/
的公式
特征图维度=K*((W−F+2P)/S+1),
其中 W - 输入体积大小，
F 是 Conv Layer 神经元的感受野大小，
S - 应用它们的步幅，
P - 边框上使用的零填充量，
K - conv层的深度
暂时不用担心卷积层的深度。我们只想计算每次 [CONV -> CONV -> POOL] 操作后生成的特征图的高度和宽度。
对于顶部的第一个网络，我应用了 [CONV -> CONV -> POOL] 两次。让我们计算生成的特征图。
给定 F=3，P=0，S=1，W=28 第一个 [CONV -> CONV -> POOL] 操作的输出是：
[CONV]
特征图维度 = W−F+2P)/S+1 = (28 - 3 + 0)/1 = 26
[CONV]
特征图维度=W−F+2P)/S+1=(26-3+0)/1=23
[POOL]
应用池化操作得到 23/2 = 11
这意味着在第一个 [CONV -> CONV -> POOL] 操作之后，特征图现在有 11x11 像素
让我们将第二个 [CONV -> CONV -> POOL] 操作应用于 11x11 特征图。我们发现我们最终会得到一个 2x2 像素的特征图。
现在，如果我们尝试应用第三个 [CONV -> CONV -> POOL] 操作，就像我想在第二个网络中做的那样。我们发现 2x2 特征图的维度对于另一个 [CONV -> CONV -> POOL] 操作来说太小了。
我想这就是错误的原因。
应用我上面的推测，我尝试用更大的图像训练第二个网络，但没有出现错误。
我回答这个问题是因为我没有足够的代表发表评论。计算输出量的公式有一个小问题。 K*((W−F+2P)/S+1) 应该是 (K*((W−F+2P)/S))+1。
嗨，我正在尝试增加 keras 中现有卷积网络的深度。以下是现有网络：
model = Sequential()
model.add(Convolution2D(32, nb_conv, nb_conv, border_mode='valid', input_shape=(1, img_rows, img_cols)))
model.add(Activation('relu'))
model.add(Convolution2D(32, nb_conv, nb_conv))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(nb_pool, nb_pool)))
model.add(Dropout(0.25))
model.add(Convolution2D(64, nb_conv, nb_conv, border_mode='valid'))
model.add(Activation('relu'))
model.add(Convolution2D(64, nb_conv, nb_conv))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(nb_pool, nb_pool)))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(256))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(nb_classes))
model.add(Activation('softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adadelta')
我正在尝试通过添加如下几个卷积层来增加网络的深度：
model = Sequential()
model.add(Convolution2D(32, nb_conv, nb_conv, border_mode='valid', input_shape=(1, img_rows, img_cols)))
model.add(Activation('relu'))
model.add(Convolution2D(32, nb_conv, nb_conv))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(nb_pool, nb_pool)))
model.add(Dropout(0.25))
model.add(Convolution2D(64, nb_conv, nb_conv, border_mode='valid'))
model.add(Activation('relu'))
model.add(Convolution2D(64, nb_conv, nb_conv))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(nb_pool, nb_pool)))
model.add(Dropout(0.25))
model.add(Convolution2D(128, nb_conv, nb_conv, border_mode='valid'))
model.add(Activation('relu'))
model.add(Convolution2D(128, nb_conv, nb_conv))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(nb_pool, nb_pool)))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(512))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(256))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(nb_classes))
model.add(Activation('softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adadelta')
Keras 给我一个错误。我不确定哪里出了问题，但似乎张量形状是错误的。下面是错误。
This could be a known bug in CUDA, please see the GpuCorrMM() documentation.
Apply node that caused the error: GpuCorrMM{valid, (1, 1)}(GpuContiguous.0, GpuContiguous.0)
Toposort index: 181
Inputs types: [CudaNdarrayType(float32, 4D), CudaNdarrayType(float32, 4D)]
Inputs shapes: [(128, 128, 2, 2), (128, 128, 3, 3)]
Inputs strides: [(512, 4, 2, 1), (1152, 9, 3, 1)]
Inputs values: ['not shown', 'not shown']
Outputs clients: [[GpuElemwise{Add}[(0, 0)](GpuCorrMM{valid, (1, 1)}.0, GpuReshape{4}.0)]]
HINT: Re-running with most Theano optimization disabled could give you a back-trace of when this node was created. This can be done with by setting the Theano flag 'optimizer=fast_compile'. If that does not work, Theano optimizations can be disabled with 'optimizer=None'.
HINT: Use the Theano flag 'exception_verbosity=high' for a debugprint and storage map footprint of this apply node.
我的输入是 28 x 28 像素的图像。 谁能指出我的模型有什么问题？
答案很可能与图像大小有关。我的图像尺寸是 28x28 图像。当我们执行卷积和池化（没有零填充）时，特征图的大小会减小。因此，卷积层和池化层的数量将根据输入图像的维度而受到限制。
以下来自http://cs231n.github.io/convolutional-networks/
的公式特征图维度=K*((W−F+2P)/S+1), 其中 W - 输入体积大小， F 是 Conv Layer 神经元的感受野大小， S - 应用它们的步幅， P - 边框上使用的零填充量， K - conv层的深度
暂时不用担心卷积层的深度。我们只想计算每次 [CONV -> CONV -> POOL] 操作后生成的特征图的高度和宽度。
对于顶部的第一个网络，我应用了 [CONV -> CONV -> POOL] 两次。让我们计算生成的特征图。
给定 F=3，P=0，S=1，W=28 第一个 [CONV -> CONV -> POOL] 操作的输出是：
[CONV]
特征图维度 = W−F+2P)/S+1 = (28 - 3 + 0)/1 = 26
[CONV]
特征图维度=W−F+2P)/S+1=(26-3+0)/1=23
[POOL]
应用池化操作得到 23/2 = 11
这意味着在第一个 [CONV -> CONV -> POOL] 操作之后，特征图现在有 11x11 像素
让我们将第二个 [CONV -> CONV -> POOL] 操作应用于 11x11 特征图。我们发现我们最终会得到一个 2x2 像素的特征图。
现在，如果我们尝试应用第三个 [CONV -> CONV -> POOL] 操作，就像我想在第二个网络中做的那样。我们发现 2x2 特征图的维度对于另一个 [CONV -> CONV -> POOL] 操作来说太小了。
我想这就是错误的原因。
应用我上面的推测，我尝试用更大的图像训练第二个网络，但没有出现错误。
我回答这个问题是因为我没有足够的代表发表评论。计算输出量的公式有一个小问题。 K*((W−F+2P)/S+1) 应该是 (K*((W−F+2P)/S))+1。