使用 Sutskever 技术通过反向传播计算导数
Calculating derivatives with backpropagation using Sutskever's technique
在 Ilya Sutskever 的 "TRAINING RECURRENT NEURAL NETWORK" 中，有以下技术用于在前馈神经网络中使用反向传播计算导数。
该网络有 l 个隐藏层、l+1 个权重矩阵和 b+1 个偏置向量。
"Forward"阶段：
"Backwards"阶段：
l+1不是索引有问题吗？例如，在前向阶段我们计算 z_l+1 但 return z_l.
（因为这是一篇如此重要的论文，我想我遗漏了一些东西）
没问题，有的索引是从0开始的（比如变量z），有的是从1开始的（比如变量x）。更仔细地遵循算法，试着用手写出来，比如 l=4。
在 Ilya Sutskever 的 "TRAINING RECURRENT NEURAL NETWORK" 中，有以下技术用于在前馈神经网络中使用反向传播计算导数。
该网络有 l 个隐藏层、l+1 个权重矩阵和 b+1 个偏置向量。
"Forward"阶段：
"Backwards"阶段：
l+1不是索引有问题吗？例如，在前向阶段我们计算 z_l+1 但 return z_l.
（因为这是一篇如此重要的论文，我想我遗漏了一些东西）
没问题，有的索引是从0开始的（比如变量z），有的是从1开始的（比如变量x）。更仔细地遵循算法，试着用手写出来，比如 l=4。