Theano lstm - 什么是初始隐藏状态

Question

我无法理解我找到的一段代码中的这一行：

def has_hidden(layer):
    """
    Whether a layer has a trainable
    initial hidden state.
    """
    return hasattr(layer, 'initial_hidden_state')

我的问题是初始隐藏状态是什么？它的用途是什么？ 或者什么是层状态？我从论文和视频中熟悉隐藏层、RNN、LSTM，但我找不到关于这个东西的任何信息。感谢您的帮助。

Answer 1

神经元层的状态是在那个时间点描述它的所有权重（其连接）的集合。

为了获得良好的训练性能，您必须不要从 0 开始一层神经元的所有权重。这个问题最常见的解决方案是将所有权重初始化为小但非零的数字。这将描述神经网络的初始状态。