为什么 RMSProp 被认为是 "leaky"？
Why is RMSProp considered "leaky"?
decay_rate = 0.99 # decay factor for RMSProp leaky sum of grad^2
我对上面评论的措辞感到困惑，他们谈论 RMSProp 优化器的 "leaky" 平方和。到目前为止，我已经能够发现这一特定行是从 Andrej Karpathy 的 Deep Reinforcement Learning: Pong from Pixels, and that RMSProp is an unpublished optimizer proposed by Hinton in one of his Coursera Classes. Looking at the math for RMSProp from link 2 复制粘贴的，很难弄清楚这是怎么回事 "leaky."
有没有人知道为什么 RMSProp 是这样描述的？
RMsprop 保持平方梯度的指数衰减平均值。 "leaky" 的措辞（然而不幸的是）指的是以前的估计 "leaks" 与当前的估计有多少，因为
E[g^2]_t := 0.99 E[g^2]_{t-1} + 0.01 g^2_t
\_______________/ \________/
"leaking" new data
decay_rate = 0.99 # decay factor for RMSProp leaky sum of grad^2
我对上面评论的措辞感到困惑，他们谈论 RMSProp 优化器的 "leaky" 平方和。到目前为止，我已经能够发现这一特定行是从 Andrej Karpathy 的 Deep Reinforcement Learning: Pong from Pixels, and that RMSProp is an unpublished optimizer proposed by Hinton in one of his Coursera Classes. Looking at the math for RMSProp from link 2 复制粘贴的，很难弄清楚这是怎么回事 "leaky."
有没有人知道为什么 RMSProp 是这样描述的？
RMsprop 保持平方梯度的指数衰减平均值。 "leaky" 的措辞（然而不幸的是）指的是以前的估计 "leaks" 与当前的估计有多少，因为
E[g^2]_t := 0.99 E[g^2]_{t-1} + 0.01 g^2_t
\_______________/ \________/
"leaking" new data