TF VS Pytorch 中的 RMSProp
RMSProp in TF VS Pytorch
在 Pytorch 的 RMSProp 实现中，我们得到了参数 alpha，根据文档：
alpha (float, optional) – smoothing constant (default: 0.99)
另一方面，TF的实现有参数rho（正式命名为decay）：
rho Discounting factor for the history/coming gradient. Defaults to 0.9.
这些参数是相同的但名称不同还是不同？
我找不到有关差异的任何信息。
如果你对比一下PyTorch的源码（here) and that of Tensorflow (on a forked build），你会发现alpha和rho确实是一样的
尽管与 Tensorflow 不同，PyTorch is clear 关于其模块的底层逻辑：
在 Pytorch 的 RMSProp 实现中，我们得到了参数 alpha，根据文档：
alpha (float, optional) – smoothing constant (default: 0.99)
另一方面，TF的实现有参数rho（正式命名为decay）：
rho Discounting factor for the history/coming gradient. Defaults to 0.9.
这些参数是相同的但名称不同还是不同？ 我找不到有关差异的任何信息。
如果你对比一下PyTorch的源码（here) and that of Tensorflow (on a forked build），你会发现alpha和rho确实是一样的
尽管与 Tensorflow 不同，PyTorch is clear 关于其模块的底层逻辑：