当神经网络的偏置单元被正则化时究竟会发生什么？
What exactly happens when bias units of neural networks are regularized?
在最初从在线教程中了解神经网络后，我实现了几个神经网络，所有教程都提到在正则化过程中，不考虑偏差单元，但如果对它们进行正则化，不会导致任何重大差异。
我不明白：
- 如果我对包括偏差在内的整个权重矩阵进行正则化，到底会发生什么？
- 它真的不会产生任何重大差异还是存在一些边缘情况？
从理论上讲，如果您规范化了您的偏见，您将失去网络运作方式的一些灵活性。允许偏差在幅度上变大可能会让神经元更快地饱和 而不会 响应异常值，这些异常值相当于训练数据中的噪声。同时，将一个大权重乘以一个与您正在研究的人群非常不典型的输入值，将放大您的网络与该异常示例的一致性程度，并且该网络也不会泛化以保留数据。
您的教程可能有练习显示 权重 的正则化如何显着缩小训练准确性和 test/validation 准确性之间的差距。 偏差正则化的问题在于，缺乏经验证据表明它会改变网络性能，尽管理论上它具有直观的意义正则化偏差会恶化性能。有吸引力的理论与实验证据之间的差距是您在神经网络研究中会经常遇到的问题。这意味着还有很多研究要做！
总而言之，此时是否规范化偏差归结为个人偏好，因为与未规范化的偏差相比，没有看到显着的改善。请记住，这是从经验观察中得出的启发式方法，仍然缺乏令人信服的理论基础。
在最初从在线教程中了解神经网络后，我实现了几个神经网络，所有教程都提到在正则化过程中，不考虑偏差单元，但如果对它们进行正则化，不会导致任何重大差异。
我不明白：
- 如果我对包括偏差在内的整个权重矩阵进行正则化，到底会发生什么？
- 它真的不会产生任何重大差异还是存在一些边缘情况？
从理论上讲，如果您规范化了您的偏见，您将失去网络运作方式的一些灵活性。允许偏差在幅度上变大可能会让神经元更快地饱和 而不会 响应异常值，这些异常值相当于训练数据中的噪声。同时，将一个大权重乘以一个与您正在研究的人群非常不典型的输入值，将放大您的网络与该异常示例的一致性程度，并且该网络也不会泛化以保留数据。
您的教程可能有练习显示 权重 的正则化如何显着缩小训练准确性和 test/validation 准确性之间的差距。 偏差正则化的问题在于，缺乏经验证据表明它会改变网络性能，尽管理论上它具有直观的意义正则化偏差会恶化性能。有吸引力的理论与实验证据之间的差距是您在神经网络研究中会经常遇到的问题。这意味着还有很多研究要做！
总而言之，此时是否规范化偏差归结为个人偏好，因为与未规范化的偏差相比，没有看到显着的改善。请记住，这是从经验观察中得出的启发式方法，仍然缺乏令人信服的理论基础。