将输入数据归一化到 Qnetwork

Question

众所周知，“正常”神经网络应该使用标准化输入数据，这样一个变量对 NN 中权重的影响不会比其他变量大。

但是，如果您有一个 Qnetwork，其中您的训练数据和测试数据可能相差很大，并且会在连续问题中随时间变化怎么办？

我的想法是 运行 一个正常的 运行 而不对输入数据进行归一化，然后从 运行 的输入数据中查看方差和均值，然后使用方差并意味着规范化我下一个 运行 的输入数据。 但是这种情况下的标准是什么？

问候 Søren Koch

Answer 1

规范化输入可以加快收敛速度​​。强烈建议规范化输入。

并且由于使用 non-linearities 网络将在不同的层中前进，不同层之间流动的数据将不再被归一化，因此，为了更快的收敛，我们经常使用批量归一化层。单位高斯数据总是有助于更快的收敛，因此请确保尽可能保持单位高斯形式。