Tensorflow seq2seq 聊天机器人总是给出相同的输出
Tensorflow seq2seq chatbot always give the same outputs
我正在尝试使用 Tensorflow 制作一个 seq2seq 聊天机器人,但它似乎收敛到相同的输出,尽管输入不同。该模型在首次初始化时给出不同的输出,但在几个 epoch 后迅速收敛到相同的输出。即使经过许多时代和低成本,这仍然是一个问题。然而,这些模型在使用较小的数据集(比如 20)进行训练时似乎表现不错,但在使用较大的数据集时却失败了。
我正在使用 100 维和 50000 个词汇的手套预训练嵌入训练 Cornell Movie Dialogs Corpus。
当给定完全不同的输入时,编码器似乎具有非常接近的最终状态(在 0.01 左右的范围内)。我试过使用简单的 LSTM/GRU、双向 LSTM/GRU、multi-layer/stacked LSTM/GRU 和多层双向 LSTM/GRU。 rnn 节点已经用 16 到 2048 个隐藏单元进行了测试。唯一的区别是当隐藏单元较少时,模型倾向于只输出开始和结束标记(GO 和 EOS)。
对于多层 GRU,这是我的代码:
cell_encode_0 = tf.contrib.rnn.GRUCell(self.n_hidden)
cell_encode_1 = tf.contrib.rnn.GRUCell(self.n_hidden)
cell_encode_2 = tf.contrib.rnn.GRUCell(self.n_hidden)
self.cell_encode = tf.contrib.rnn.MultiRNNCell([cell_encode_0, cell_encode_1, cell_encode_2])
# identical decoder
...
embedded_x = tf.nn.embedding_lookup(self.word_embedding, self.x)
embedded_y = tf.nn.embedding_lookup(self.word_embedding, self.y)
_, self.encoder_state = tf.nn.dynamic_rnn(
self.cell_encode,
inputs=embedded_x,
dtype=tf.float32,
sequence_length=self.x_length
)
# decoder for training
helper = tf.contrib.seq2seq.TrainingHelper(
inputs=embedded_y,
sequence_length=self.y_length
)
decoder = tf.contrib.seq2seq.BasicDecoder(
self.cell_decode,
helper,
self.encoder_state,
output_layer=self.projection_layer
)
outputs, _, _ = tf.contrib.seq2seq.dynamic_decode(decoder, maximum_iterations=self.max_sequence, swap_memory=True)
return outputs.rnn_output
...
# Optimization
dynamic_max_sequence = tf.reduce_max(self.y_length)
mask = tf.sequence_mask(self.y_length, maxlen=dynamic_max_sequence, dtype=tf.float32)
crossent = tf.nn.sparse_softmax_cross_entropy_with_logits(
labels=self.y[:, :dynamic_max_sequence], logits=self.network())
self.cost = (tf.reduce_sum(crossent * mask) / batch_size)
self.train_op = tf.train.AdamOptimizer(self.learning_rate).minimize(self.cost)
完整代码请见github。 (如果你想测试一下,运行 train.py)
至于超参数,我试过从 0.1 一直到 0.0001 的学习率和从 1 到 32 的批量大小。除了常规和预期的效果外,它们对解决问题没有帮助。
经过几个月的深入研究,我终于找到了问题所在。似乎 RNN 在解码器输入中需要 GO 令牌,但在输出中不需要(您用于成本的那个)。基本上,RNN 期望其数据如下:
Encoder input: GO foo foo foo EOS
Decoder input/ground truth: GO bar bar bar EOS
Decoder output: bar bar bar EOS EOS/PAD
在我的代码中,我在解码器输入和输出中都包含了 GO 标记,导致 RNN 重复相同的标记(GO -> GO,bar -> bar)。这可以通过创建一个没有基本事实的第一列(GO 标记)的附加变量来轻松解决。在 numpy 中,这看起来像
# y is ground truth with shape[0] = batch and shape[1] = token index
np.concatenate([y[:, 1:], np.full([y.shape[0], 1], EOS)], axis=1)
我正在尝试使用 Tensorflow 制作一个 seq2seq 聊天机器人,但它似乎收敛到相同的输出,尽管输入不同。该模型在首次初始化时给出不同的输出,但在几个 epoch 后迅速收敛到相同的输出。即使经过许多时代和低成本,这仍然是一个问题。然而,这些模型在使用较小的数据集(比如 20)进行训练时似乎表现不错,但在使用较大的数据集时却失败了。
我正在使用 100 维和 50000 个词汇的手套预训练嵌入训练 Cornell Movie Dialogs Corpus。
当给定完全不同的输入时,编码器似乎具有非常接近的最终状态(在 0.01 左右的范围内)。我试过使用简单的 LSTM/GRU、双向 LSTM/GRU、multi-layer/stacked LSTM/GRU 和多层双向 LSTM/GRU。 rnn 节点已经用 16 到 2048 个隐藏单元进行了测试。唯一的区别是当隐藏单元较少时,模型倾向于只输出开始和结束标记(GO 和 EOS)。
对于多层 GRU,这是我的代码:
cell_encode_0 = tf.contrib.rnn.GRUCell(self.n_hidden)
cell_encode_1 = tf.contrib.rnn.GRUCell(self.n_hidden)
cell_encode_2 = tf.contrib.rnn.GRUCell(self.n_hidden)
self.cell_encode = tf.contrib.rnn.MultiRNNCell([cell_encode_0, cell_encode_1, cell_encode_2])
# identical decoder
...
embedded_x = tf.nn.embedding_lookup(self.word_embedding, self.x)
embedded_y = tf.nn.embedding_lookup(self.word_embedding, self.y)
_, self.encoder_state = tf.nn.dynamic_rnn(
self.cell_encode,
inputs=embedded_x,
dtype=tf.float32,
sequence_length=self.x_length
)
# decoder for training
helper = tf.contrib.seq2seq.TrainingHelper(
inputs=embedded_y,
sequence_length=self.y_length
)
decoder = tf.contrib.seq2seq.BasicDecoder(
self.cell_decode,
helper,
self.encoder_state,
output_layer=self.projection_layer
)
outputs, _, _ = tf.contrib.seq2seq.dynamic_decode(decoder, maximum_iterations=self.max_sequence, swap_memory=True)
return outputs.rnn_output
...
# Optimization
dynamic_max_sequence = tf.reduce_max(self.y_length)
mask = tf.sequence_mask(self.y_length, maxlen=dynamic_max_sequence, dtype=tf.float32)
crossent = tf.nn.sparse_softmax_cross_entropy_with_logits(
labels=self.y[:, :dynamic_max_sequence], logits=self.network())
self.cost = (tf.reduce_sum(crossent * mask) / batch_size)
self.train_op = tf.train.AdamOptimizer(self.learning_rate).minimize(self.cost)
完整代码请见github。 (如果你想测试一下,运行 train.py)
至于超参数,我试过从 0.1 一直到 0.0001 的学习率和从 1 到 32 的批量大小。除了常规和预期的效果外,它们对解决问题没有帮助。
经过几个月的深入研究,我终于找到了问题所在。似乎 RNN 在解码器输入中需要 GO 令牌,但在输出中不需要(您用于成本的那个)。基本上,RNN 期望其数据如下:
Encoder input: GO foo foo foo EOS
Decoder input/ground truth: GO bar bar bar EOS
Decoder output: bar bar bar EOS EOS/PAD
在我的代码中,我在解码器输入和输出中都包含了 GO 标记,导致 RNN 重复相同的标记(GO -> GO,bar -> bar)。这可以通过创建一个没有基本事实的第一列(GO 标记)的附加变量来轻松解决。在 numpy 中,这看起来像
# y is ground truth with shape[0] = batch and shape[1] = token index
np.concatenate([y[:, 1:], np.full([y.shape[0], 1], EOS)], axis=1)