Tensorflow 的维度问题 stack_bidirectional_dynamic_rnn

Question

我正在使用 Tensorflow 为机器 t运行slation 构建玩具编码器-解码器模型。

我使用的是 Tensorflow 1.8.0 cpu 版本。嵌入层使用300维的FastText预训练词向量。然后这批训练数据通过具有注意力机制的编码器和解码器。在训练阶段解码器使用 TrainHelper，在推理阶段使用 GreedyEmbeddingHelper。

我已经运行通过使用双向 LSTM 编码器成功地建立了模型。但是，当我尝试使用多层 LSTM 进一步改进我的模型时，错误出现了。构建训练阶段模型的代码如下：

def BuildTrainModel(train_iterator):

    ((source, source_lengths), (target, target_lengths)) = train_iterator.get_next()
    encoder_inputs = tf.transpose(source, [1,0]) # to time major
    decoder_inputs = tf.transpose(target, [1,0])
    decoder_outputs = tf.pad(decoder_inputs[1:], tf.constant([[0,1],[0,0]]), constant_values=tar_eos_id)

    embedding_encoder = tf.Variable(embedding_matrix_src, name='embedding_encoder')
    embedding_decoder = tf.Variable(embedding_matrix_tar, name='embedding_decoder')

    # Embedding layer
    encoder_emb_inp = tf.nn.embedding_lookup(embedding_encoder, encoder_inputs)
    decoder_emb_inp = tf.nn.embedding_lookup(embedding_decoder, decoder_inputs)

    # Encoder
    # Construct forward and backward cells
    forward_cell = tf.nn.rnn_cell.BasicLSTMCell(num_units)
    backward_cell = tf.nn.rnn_cell.BasicLSTMCell(num_units)

    encoder_outputs, encoder_states_fw, encoder_states_bw = tf.contrib.rnn.stack_bidirectional_dynamic_rnn(
        [forward_cell] * num_layers, [backward_cell] * num_layers, encoder_emb_inp, dtype=tf.float64, 
        sequence_length=source_lengths, time_major=True)

这里我只展示编码器部分。完整代码和超参数请看我的github:https://github.com/nkjsy/Neural-Machine-Translation/blob/master/nmt3.ipynb

错误信息是：

InvalidArgumentError: Dimensions must be equal, but are 96 and 332 for 'stack_bidirectional_rnn/cell_0/bidirectional_rnn/fw/fw/while/basic_lstm_cell/MatMul_1' (op: 'MatMul') with input shapes: [?,96], [332,128].

我尝试将输入设置为 [forward_cell] 和 [backward_cell] 没问题，这意味着像我之前那样只有 1 层。一旦我添加更多层，问题就出现了。

Answer 1

使用以下方法定义单元格实例列表，

forward_cell = [tf.contrib.rnn.BasicLSTMCell(num_units),tf.contrib.rnn.BasicLSTMCell(num_units)]

您可以在打印两个列表时看到差异，

num_units =128
num_layers =2

#Method1
forward_cell = [tf.contrib.rnn.BasicLSTMCell( num_units),tf.contrib.rnn.BasicLSTMCell(num_units)]
print(forward_cell)
#Method2
forward_cell = [tf.contrib.rnn.BasicLSTMCell(num_units)]*num_layers
print(forward_cell)

上面的代码片段打印出类似于下面的内容，

[<tensorflow.python.ops.rnn_cell_impl.BasicLSTMCell object at 0x00000087798E6EF0>, <tensorflow.python.ops.rnn_cell_impl.BasicLSTMCell object at 0x0000008709AE72E8>]
[<tensorflow.python.ops.rnn_cell_impl.BasicLSTMCell object at 0x0000008709AFDC50>, <tensorflow.python.ops.rnn_cell_impl.BasicLSTMCell object at 0x0000008709AFDC50>]

如您所见，#Method2 输出了相同单元格实例的列表，这不是预期的。

希望这对您有所帮助。

Tensorflow 的维度问题 stack_bidirectional_dynamic_rnn

Dimension Issue with Tensorflow stack_bidirectional_dynamic_rnn

python

deep-learning

tensorflow

seq2seq