神经网络具有正态分布的数据重要吗？

Question

因此，处理数据的标准做法之一是对其进行归一化和标准化，使数据呈正态分布，均值为 0，标准差为 1，对吗？但是，如果数据不是正态分布的呢？

此外，所需的输出也必须是正态分布的吗？如果我希望我的前馈网络在两个 类（-1 和 1）之间进行分类，那将不可能标准化为均值 0 和标准差 1 的正态分布，对吗？

前馈网络是非参数的吧？那么，如果是的话，标准化数据还重要吗？为什么人们将其标准化？

Answer 1

对特征进行标准化并不是让数据服从正态分布，而是将特征值置于一个已知的范围内，让算法更容易从数据中学习。这是因为大多数算法都不是 scale/shift 不变的。例如，决策树既具有尺度不变性又具有移位不变性，因此进行归一化对树的性能没有影响。

Also, does the desired output has to be normally distributed too?

没有。那不是一回事。输出是什么输出。您必须确保网络最后一层的激活函数可以做出您想要的预测（即：Sigmoid 激活不能输出负值或值 > 1）。

Feedforward nets are non-parametric right?

不，它们通常被认为是参数化的。参数/非参数并没有真正的硬定义。人们在谈论这个时可能意味着略有不同的事情。

So if they are, is it still important to standardize data?

那些东西完全没有关系。

And why do people standardize it?

这是我提到的第一件事，就是为了学习easier/possible。