根据输入形状计算是否有差异? (CNN 在 Python 中使用 Tensorflow)

Is there a difference in computation according to input shape? (CNN in Python with Tensorflow)

我正在参考论文(Kim, 2014)解决一个文本分类问题。 然后我发现在下面两个模型之间,左边的模型(模型 1)比右边的模型(模型 2)花费大约 2.5 倍的时间。 我认为两个模型的权重参数数量是相同的。 为什么两个模型之间存在时间差异?
*两个模型的输入数据内容相同。只是改变了形状。

我使用了tf.nn.conv2d。过滤器形状和步幅如下
模型 1:3x9x1x 滤波器数量,步幅 3
模型 2:1x9x3x 滤波器数量,步幅 1
其他都一样
*在上图中,宽度表示 'self.embedding_dim',高度表示 'self.max_length'。

pooled_outputs = []
with tf.name_scope("conv-maxpool-3"):
# Convolution Layer
filter_shape = [3, self.embedding_dim, 1, self.num_filters]
W = tf.Variable(tf.truncated_normal(filter_shape, stddev=0.1), name="W")
b = tf.Variable(tf.constant(0.1, shape=[self.num_filters]), name="b")
conv = tf.nn.conv2d(
    self.embedded_chars_expanded,
    W,
    strides=[1, 1, 3, 1],
    padding="VALID",
    name="conv")
# Apply nonlinearity
h = tf.nn.relu(tf.nn.bias_add(conv, b), name="relu")
# Maxpooling over the outputs
pooled = tf.nn.max_pool(
    h,
    ksize=[1, self.max_length - 3 + 1, 1, 1],
    strides=[1, 1, 1, 1],
    padding='VALID',
    name="pool")
pooled_outputs.append(pooled)

----------------------------------------------------------------------

pooled_outputs = []
with tf.name_scope("conv-maxpool-1"):
# Convolution Layer
filter_shape = [1, self.embedding_dim, 3, self.num_filters]
W = tf.Variable(tf.truncated_normal(filter_shape, stddev=0.1), name="W")
b = tf.Variable(tf.constant(0.1, shape=[self.num_filters]), name="b")
conv = tf.nn.conv2d(
    self.embedded_chars_expanded,
    W,
    strides=[1, 1, 1, 1],
    padding="VALID",
    name="conv")
# Apply nonlinearity
h = tf.nn.relu(tf.nn.bias_add(conv, b), name="relu")
# Maxpooling over the outputs
pooled = tf.nn.max_pool(
    h,
    ksize=[1, self.max_length - 1 + 1, 1, 1],
    strides=[1, 1, 1, 1],
    padding='VALID',
    name="pool")
pooled_outputs.append(pooled)

在第一个模型中你将步幅设置为[1, 1, 3, 1]并且你没有指定数据顺序,因此它默认为NHWC,即(num_batches,高度,宽度, 频道)(勾选 docu)。因此 3 的步幅适用于宽度,而不是高度,正如您的模型 1 图片所示。因为您使用的是 VALID 填充,所以宽度上的步长 3 没有影响,顺便说一下。

所以基本上,您对模型 1 的描述是错误的:在第 2 步中它没有跳到第 4 行,而是跳到了第 2 行。这意味着模型 1 计算的卷积数量大约是模型 2 的 3 倍。

还有其他因素可能会导致速度差异 - 也许模型 2 可以在 GPU 上更好地并行化,但这很难判断。