更长的 LSTM 预测

Question

我正在使用 LSTM 将 5 个序列作为输入来预测另外 5 个序列。我想知道如何预测超过 5 个时间步长。我认为它与 hidden_dim 有关，但我无法弄清楚。

这是我的代码

class LSTM(nn.Module):
    def __init__(self, seq_len=5, n_features=256, n_hidden=256, n_layers=1, output_size=1):
        super().__init__()
        self.n_features = n_features
        self.seq_len = seq_len
        self.n_hidden = n_hidden
        self.n_layers = n_layers
        
        self.l_lstm = nn.LSTM(input_size=self.n_features, hidden_size=self.n_hidden, num_layers=self.n_layers, batch_first=True)

        

    def init_hidden(self, batch_size):
        hidden_state = torch.zeros(self.n_layers,batch_size,self.n_hidden).to(device)
        cell_state = torch.zeros(self.n_layers,batch_size,self.n_hidden).to(device)
        self.hidden = (hidden_state, cell_state)
    
    def forward(self, x):        
        
        lstm_out, self.hidden = self.l_lstm(x,self.hidden)

        return lstm_out

如果有人知道如何扩展预测范围或可以提出更好的 LSTM 编写方法，我将不胜感激。

Answer 1

现在您运行 LSTM 前向 5 个时间步，并返回每个时间步产生的隐藏状态。当您知道每个输入都需要一个输出时，通常会使用这种方法，例如序列标记问题（例如，用词性标记句子中的每个单词）。

如果你想编码一个可变长度的序列，然后解码一个任意的、可能不同长度的序列（例如机器翻译），你需要更一般地查找 sequence-to-sequence (seq2seq) 建模。这有点复杂，涉及两个 LSTM，一个用于编码输入序列，另一个用于解码输出序列（参见上面链接的 pytorch 教程中的 EncoderRNN 和 DecoderRNN 实现）。

基本思想是采取例如使用输入句子后 LSTM 的最终状态，然后使用该状态初始化一个单独的 LSTM 解码器 ，您从中进行自回归采样 - 换句话说，您生成一个新的标记，feed将令牌返回解码器，然后继续执行您指定的任意数量的步骤，或者直到 LSTM 采样“句子结尾”令牌，如果您已经训练 LSTM 预测采样序列的结尾。

更长的 LSTM 预测

Longer LSTM Prediction

python

machine-learning

lstm

pytorch