Tensorflow RNN LSTM 输出解释

Question

我有两个与 tf.keras.layers.LSTMCell 有关的问题。我们看下面的代码：

inputs = tf.random.normal([32, 10, 8])
rnn1 = tf.keras.layers.RNN(tf.keras.layers.LSTMCell(4))
output = rnn1(inputs)

rnn2 = tf.keras.layers.RNN(
   tf.keras.layers.LSTMCell(4),
   return_sequences=True,
   return_state=True)
whole_seq_output, final_memory_state, final_carry_state = rnn2(inputs)

从 rnn2 的输出中，我可以看到 final_memory_state 包含在 whole_seq_output:

tf.reduce_all(whole_seq_output[:,-1,:]==final_memory_state)
<tf.Tensor: shape=(), dtype=bool, numpy=True>

因此，我认为final_memory_state是最终的细胞状态，而whole_seq_output包含所有细胞状态。此外，final_carry_state 是最终的隐藏状态。在这个众所周知的 tutorial 中，细胞状态和隐藏状态被称为 C_t 和 h_t。我的理解正确吗？

此外，从 rnn1 开始，output 不是 final_memory_state 或 final_carry_state 之一：

>>> tf.reduce_all(output == final_carry_state)
<tf.Tensor: shape=(), dtype=bool, numpy=False>
>>> tf.reduce_all(output == final_memory_state)
<tf.Tensor: shape=(), dtype=bool, numpy=False>

我认为 rnn1 和 rnn2 之间的唯一区别是返回值的方式，因此 output 应该是 final_memory_state 或 [=18] 之一=].能帮忙解释一下吗？

Answer 1

经过多次测试，发现whole_seq_output包含了不同时间步的所有输出，而final_memory_state是最后一个时间步的输出。他们指的是上述教程中的h_t。此外，final_carry_state 是细胞状态（即教程中的 C_t）。最后，output确实是final_memory_state。如果使用相同的单元格，它们的值应该相同（我使用了两个不同的单元格）。

inputs = tf.random.normal([32, 10, 8])
cell = tf.keras.layers.LSTMCell(4)
rnn1 = tf.keras.layers.RNN(cell)
output = rnn1(inputs)

rnn2 = tf.keras.layers.RNN(
   cell,
   return_sequences=True,
   return_state=True)
whole_seq_output, final_memory_state, final_carry_state = rnn2(inputs)

Tensorflow RNN LSTM 输出解释

Tensorflow RNN LSTM output explanation

tensorflow

lstm

tensorflow2.0

recurrent-neural-network