LSTM 单元中的单元数与内存 "distance" 之间是否存在关系?
Is there a relationship between number of units in LSTM cell and "distance" of memory?
我了解控制 LSTM 的方程式,并且我看到 this post 讨论了 LSTM 的单位数量意味着什么,但我想知道一些不同的东西 - 是否有关系在 LSTM 中的单元格数量与模型能够处理的 memory/the 量的 "look-back" 之间? 例如,如果我的数据有一个样本1000 Hz 的频率并且我有一个包含 100 个单元的 LSTM,这是否意味着我的模型只能学习过去 100 毫秒的关系 between/remembering 事物?还是我把关系简单化了?
据我所知,没有。
或者至少,不是直接的——但是更高潜在维度的 LSTM 层将具有更多容量,并且可能具有更多 "room" 用于更复杂的模式,包括那些利用 "distant" 记忆的模式。
使用更多的 LSTM 层也可能有助于学习更复杂的模式。
关于 100 个单元格 - 问题的 100 个时间步长部分 - 是的,至少可以说这是一种过度简化。
我了解控制 LSTM 的方程式,并且我看到 this post 讨论了 LSTM 的单位数量意味着什么,但我想知道一些不同的东西 - 是否有关系在 LSTM 中的单元格数量与模型能够处理的 memory/the 量的 "look-back" 之间? 例如,如果我的数据有一个样本1000 Hz 的频率并且我有一个包含 100 个单元的 LSTM,这是否意味着我的模型只能学习过去 100 毫秒的关系 between/remembering 事物?还是我把关系简单化了?
据我所知,没有。 或者至少,不是直接的——但是更高潜在维度的 LSTM 层将具有更多容量,并且可能具有更多 "room" 用于更复杂的模式,包括那些利用 "distant" 记忆的模式。
使用更多的 LSTM 层也可能有助于学习更复杂的模式。
关于 100 个单元格 - 问题的 100 个时间步长部分 - 是的,至少可以说这是一种过度简化。