BatchNormalization 如何处理示例？

Question

我正在尝试了解 batchnorm。我的小例子

layer1 = tf.keras.layers.BatchNormalization(scale=False, center=False)
x = np.array([[3.,4.]])
out = layer1(x)
print(out)

版画

tf.Tensor([[2.99850112 3.9980015 ]], shape=(1, 2), dtype=float64)

我尝试重现它

e=0.001
m = np.sum(x)/2
b = np.sum((x - m)**2)/2 
x_=(x-m)/np.sqrt(b+e)
print(x_)

它打印

[[-0.99800598  0.99800598]]

我做错了什么？

Answer 1

这里有两个问题。

首先，batch norm 有两个 "modes"：训练，标准化是通过批量统计完成的；推理，标准化是通过 "population statistics" 在训练期间从批次中收集的。默认情况下，keras layers/models 在推理模式下运行，您需要在调用中指定 training=True 来更改此设置（还有其他方法，但这是最简单的方法）。

layer1 = tf.keras.layers.BatchNormalization(scale=False, center=False)
x = np.array([[3.,4.]], dtype=np.float32)
out = layer1(x, training=True)
print(out)

这会打印 tf.Tensor([[0. 0.]], shape=(1, 2), dtype=float32)。还是不对！

其次，批量归一化批量轴，分别针对每个特征。但是，您指定输入（作为 1x2 数组）的方式基本上是具有两个特征的单个输入（批量大小 1）。批归一化只是将每个特征归一化为均值 0（未定义标准偏差）。相反，您需要两个具有单一特征的输入：

layer1 = tf.keras.layers.BatchNormalization(scale=False, center=False)
x = np.array([[3.],[4.]], dtype=np.float32)
out = layer1(x, training=True)
print(out)

这会打印

tf.Tensor(
[[-0.99800634]
 [ 0.99800587]], shape=(2, 1), dtype=float32)

或者，指定 "feature axis":

layer1 = tf.keras.layers.BatchNormalization(axis=0, scale=False, center=False)
x = np.array([[3.,4.]], dtype=np.float32)
out = layer1(x, training=True)
print(out)

注意输入形状是"wrong"，但是我们告诉batchnorm轴0是特征轴（它默认为-1，最后一个轴）。这也将给出所需的结果：

tf.Tensor([[-0.99800634  0.99800587]], shape=(1, 2), dtype=float32)

BatchNormalization 如何处理示例？

How does BatchNormalization work on an example?

machine-learning

neural-network

tensorflow

batch-normalization