Pytorch 隐藏状态 LSTM

Question

为什么我们需要在pytorch中初始化LSTM中的隐藏状态h0。由于 h0 无论如何都会被计算并被覆盖？是不是很像

一个 一 = 0

一=4

即使不做a=0也应该没问题..

Answer 1

关键是你可以提供初始状态，这是一个特性。他们本可以将其实现为默认设置，但通过让您控制张量的分配，您可以节省一些内存（分配一次，每次调用归零）。

为什么需要设置 h？ Sequence-to-sequence 模型需要这个（将输入压缩到一个向量，使用这个向量作为解码器的隐藏状态）或者你可能想让初始状态可学习。