测试期间的批量归一化

Question

我正在研究向量大小为 140*6 的二维时间序列问题，用于使用 CNN 进行二进制分类。我没有使用任何缩放和归一化技术，而是在训练期间直接将数据馈送到具有 3 个隐藏层的 CNN 和批量大小为 256 的批量归一化层。因为我必须实时测试它以及批量大小为 1 的批量归一化如何工作然后没有为任何训练计算任何均值或标准差 layer.And 也应该稍后在最终测试期间将批归一化用于正向传递，或者仅应计算训练层的均值和标准差并使用。

Answer 1

测试期间未使用批量归一化。这样做的原因是批归一化用于缓解训练数据中不同批次之间的协方差偏移问题。协方差偏移导致不良模型得到训练，因此我们使用它。它在测试期间没有任何作用。

如果您使用了批量大小为 1 的批量归一化，那么，这就是简单的实例归一化。