LSTM 和 GRU 门如何决定将哪个单词保留在内存中

Question

GRU 中的更新门决定将哪个词保留在单元中或明确单元状态是什么。 gru中的update gate是如何决定什么时候接近1，什么时候接近0的？ 基本上，它是如何决定守字和不守字的？谢谢

Answer 1

不清楚您在问题中做了哪些背景调查。也许 google 搜索 gru 教程可能会找到一些有用的博客。这里是 one.

请记住，虽然细胞状态是使用权重更新的，但权重的优化方式与任何其他神经网络权重的优化方式相同，具有反向传播。 This 是一篇很棒的博客，可帮助解释 RNN（GRU 是一个具体示例）的设置方式以及如何使用时间反向传播来更新权重。然后 GRU 的权重决定了细胞状态如何更新。