零居中处理的全局平均和局部平均有什么区别?

what's the difference between global average and local average in zero centering processing?

在图像预处理阶段需要进行归零。

但我不知道为什么有些论文减去全局平均值(整个训练集之间的平均值),而另一些则只减去局部平均值(每个小批量之间的平均值)。你能解释一下这个想法吗?

PS: 零居中,每个通道都减去平均值吗?

零中心化作为预处理步骤具有多种优势,但为了澄清这里的问题,只有当您有理由相信不同的 输入特征具有不同的尺度时,应用这种预处理才有意义(或单位),但它们对学习算法的重要性应该大致相同。在图像的情况下,像素的相对比例已经大致相等(并且在 0 到 255 的范围内),因此执行此额外的预处理步骤并不是绝对必要的。 Find more Information here

minibatch 中的归一化通常称为 "Batch Normalization" 并遵循解决消失/爆炸梯度问题和 每层输入的分布在训练期间变化的问题的想法前面层的参数改变。通过在每一层之前进行零中心化和归一化,网络学会处理这个 "Internal Covariate Shift"。 Find more Information here

PS: 零居中作为预处理步骤可以通过除以标准差或根据分布的最小/最大值进行缩放( 这通常在所有通道上完成 / 功能,具体取决于您的数据以及您是否希望它们对训练产生相同的影响,但也可能存在例外情况。