如何修改标准多层网络的反向传播,包括每层的标量增益?

How to modify backpropagation for a standard multilayer network including a scalar gain at each layer?

考虑一个标准的多层网络,每层都有一个标量增益。第 m 层的净输入将计算为: n^m = β^m [W^m α^m − 1 + b^m]

其中 β^m 是第 m 层的标量增益。该增益将像网络的权重和偏差一样进行训练。

我如何修改这个新网络的反向传播算法?

添加什么新方程来更新 β^m ?

这是来自 book 的练习。

E11.13

神经网络设计(第 2 版)- Martin T. Hagan、Howard B. Demuth、Mark H. Beale、Orlando De Jesus

我用 LaTeX 写了答案