输入数据的正态分布
Normal distribution of input data
我应该在将输入数据放入 RNN 之前将其归一化为正态分布吗？如果是，为什么？目前几乎所有的列都是右移的，所以它根本不是正态分布。
您不一定需要将输入转换为正态分布，但您可能希望对它们进行预处理，使其每个值的大部分都在 0 和 1 之间。否则，当对内部节点使用 sigmoid 函数时，你可能会导致 saturation。例如，如果您的输入均为 U(0, 1000)，则无需转换为正态分布，只需缩放 0.001.
我应该在将输入数据放入 RNN 之前将其归一化为正态分布吗？如果是，为什么？目前几乎所有的列都是右移的，所以它根本不是正态分布。
您不一定需要将输入转换为正态分布，但您可能希望对它们进行预处理，使其每个值的大部分都在 0 和 1 之间。否则，当对内部节点使用 sigmoid 函数时，你可能会导致 saturation。例如，如果您的输入均为 U(0, 1000)，则无需转换为正态分布，只需缩放 0.001.