对近期数据具有更多权重的 RNN
RNN with more weights on recent data
我正在研究股票预测样本数据的 LSTM RNN。似乎 RNN 没有给予更多的权重
最近 data.The 权重在 RNN 的不同时间步长中平均分配。我们是否可以选择增加最近数据的权重？ （使用 LSTM 或 RNN 中的任何参数）。
你能纠正我或对此提供更多意见吗？
提前致谢。
这就是为什么现在大多数时间序列模型都有注意力机制的原因。由于注意力机制更擅长学习相关的时间步长。这也是现在有些人使用变压器的原因。 RNN/LSTM 没有很好地学习远程依赖。例如 DA-RNN paper 状态
In the first stage, we introduce an in- put attention mechanism to adaptively extract rel- evant driving series (a.k.a., input features) at each time step by referring to the previous encoder hid- den state. In the second stage, we use a temporal attention mechanism to select relevant encoder hid- den states across all time steps.
关键字跨越所有时间步长。您可以找到几个基于 attention/transformer 的模型的实现 here（免责声明我是该框架的维护者）。
我正在研究股票预测样本数据的 LSTM RNN。似乎 RNN 没有给予更多的权重 最近 data.The 权重在 RNN 的不同时间步长中平均分配。我们是否可以选择增加最近数据的权重？ （使用 LSTM 或 RNN 中的任何参数）。
你能纠正我或对此提供更多意见吗？
提前致谢。
这就是为什么现在大多数时间序列模型都有注意力机制的原因。由于注意力机制更擅长学习相关的时间步长。这也是现在有些人使用变压器的原因。 RNN/LSTM 没有很好地学习远程依赖。例如 DA-RNN paper 状态
In the first stage, we introduce an in- put attention mechanism to adaptively extract rel- evant driving series (a.k.a., input features) at each time step by referring to the previous encoder hid- den state. In the second stage, we use a temporal attention mechanism to select relevant encoder hid- den states across all time steps.
关键字跨越所有时间步长。您可以找到几个基于 attention/transformer 的模型的实现 here（免责声明我是该框架的维护者）。