S 型激活 MLP 的权重学习规则中未显示 Delta 分量

Delta component doesnt show in weight learning rule of sigmoid activation MLP

作为概念的基本证明,在 class 将 K classes 与输入 x、偏置 b、输出 y、S 个样本、权重 v 和 t 教师信号相结合的网络中,其中如果匹配样本小于 k class.

,则 t(k) 等于 1

Variables

令 x_(is) 代表第 s_(th) 个样本中的第 i_(th) 个输入特征。 v_(ks) 表示向量,该向量保存连接到第 s_(th) 个样本中所有输入的 k_(th) 个输出的权重。 t_(s) 表示 s_(th) 个样本的教师信号。

如果我们扩展上述变量以考虑多个样本,则必须在声明变量 z_(k)、激活函数 f(.) 并使用交叉熵作为成本函数时应用以下更改: Derivation

通常在学习规则中,delta ( t_(k) - y_(k) ) 总是包含在内,为什么 Delta 没有出现在这个等式中?我是不是错过了什么,或者出现的增量规则不是必须的?

我设法找到了解决方案,当我们考虑其中的 Kronecker delta 时很明显(如果 class 匹配 class 则 δck = 1,否则 δck)。这意味着推导采用这种形式:

Derivation

这导致了增量规则。