XOR 神经网络似乎收敛于 0.5 左右

XOR neural network seems to converge around 0.5

几周来我一直在尝试编写 XOR 神经网络代码,但我总是遇到同样的问题。首先,您必须知道我花了 小时和小时 尝试我在网上找到的所有内容,但没有任何效果。

在尝试使用有关该主题的 3Blue1Brown 视频但没有成功之后,我现在正在使用此 http://neuralnetworksanddeeplearning.com/chap2.html。我编写了一个矩阵库 具有所有必要的功能。

我的网络确实有 3 层:2 个输入神经元、2 个隐藏神经元、1 个输出神经元。 此外,我有 2 个指向隐藏神经元的偏差,一个指向输出神经元。我使用 sigmoid 函数使值介于 0 和 1 之间,并使用二次成本函数。每次我训练网络时(即每次我使用反向传播)我都会选择一个随机输入及其相应的输出。

问题是,无论我训练多少次,输出永远不会接近 0 或 1,但总是在 0.5 附近徘徊,我的成本函数被卡住了0.14.

感谢任何提示或帮助 -- 我真的不明白问题出在哪里,我觉得我已经尝试了所有方法。 PS: 这里没有显示任何代码,如果需要,请不要犹豫。

我已经通过在我的网络中添加层来解决我的问题。此外,当我改进它以编写 OCR 代码时,我添加了一个学习率以逃避本地 miminas,这在每次我的网络卡住时都是部分问题。