前馈神经网络总是输出随机但相似的值

Question

我最近根据 this 在线书籍和 Sebastian Lague 在 youtube 上关于神经网络的简短系列编写了一个神经网络。我尽可能忠实地对它进行了编码，但它并没有最终起作用。我正在尝试用它解决一个简单的 XOR 问题，但它似乎总是给我随机但相似的值。我什至尝试复制粘贴作者的代码，不做任何更改，但还是不行。

class NeuralNetwork:

    def __init__(self, layer_sizes, rate):
        weight_shapes = [(a,b) for a,b in zip(layer_sizes[1:], layer_sizes[:-1])]
        self.weights = [np.random.standard_normal(s)/s[1]**0.5 for s in weight_shapes]
        self.biases = [np.zeros((s,1)) for s in layer_sizes[1:]]
        self.rate = rate

    def predict(self, a):
        for w,b in zip(self.weights, self.biases):
            z = np.matmul(w,a) + b
            a = self.activation(z)
        return a

    def backprop(self, a, o):

        o = np.array(o)

        self.zCollection = []

        # Forward Propogation
        for w,b in zip(self.weights, self.biases):
            z = np.matmul(w,a) + b

            self.zCollection.append(z)

            a = self.activation(z)
        
        # Output error
        error =  (a - o) * self.activationPrime(self.zCollection[-1])

        self.weights[-1] += np.matmul(error, self.activation(self.zCollection[-2]).T) * self.rate
        self.biases[-1] += error * self.rate
        
        # Looping through layers
        for i in range(2, len(self.weights)):

            error = np.multiply(self.weights[-i+1].T * error,self.activationPrime(self.zCollection[-i]))

            self.weights[-i] = np.add(self.weights[-i], np.matmul(error, self.activation(self.zCollection[-i-1]).T) * self.rate)
            self.biases[-i] = np.add(self.biases[-i], error * self.rate)

    @staticmethod
    def activation(x):
        return 1/(1+np.exp(-x))
    @staticmethod
    def activationPrime(x):
        activation = lambda x : 1/(1+np.exp(-x))
        return activation(x) * (1 - activation(x))



if __name__ == "__main__":

    inp = [[0,0],[1,0],[0,1],[1,1]]
    out = [[0],[1],[1],[0]]

    # Reformating arrays
    inp = np.array([np.array(i) for i in inp])
    inp = np.array([i.reshape((len(i), 1)) for i in inp])
    out = np.array([np.array(i) for i in out])
    out = np.array([i.reshape((len(i), 1)) for i in out])


    layer_sizes = (2,2,1)
    nn = NeuralNetwork(layer_sizes, 0.001)

    print("start")
    for j in range(100):
        for i,o in zip(inp, out):
            nn.backprop(i, o)
    print("done")

    for i in inp:
        print(f"{[list(j) for j in i]} >> {nn.predict(i)[0,0]}")

我自己做了一些调查，发现每次迭代的权重更新值总是很小且恒定。我不确定为什么，但看起来重量没有变化。我相信这可能是原因，因为当我在脚本开头设置种子时，输出值与大约 4dp 非常相似，但我不确定。我测试了前向传播，所以这不是问题。我还尝试了随机化输入、改变学习率、不同的层大小和数量。我还尝试了一个感知器可以解决的不同问题集。该问题是预测两个数字的总和是否大于其他数字。那也没用。当我绘制历元上的输出错误时，它看起来像 this。正如您可以通过粗线看到的那样，该值正在振荡并且似乎在下降。然而，当我测试它时，它给出了完全错误的结果。

以下是我使用不同参数获得的一些输出：

学习率：100
layer_sizes : (2,2,1)
纪元：10000

[[0], [0]] >> 1.70366026492168e-23
[[1], [0]] >> 4.876567289343432e-20
[[0], [1]] >> 2.4579325136292694e-24
[[1], [1]] >> 9.206132845755066e-21

学习率：1
layer_sizes : (2,5,5,1)
纪元：10000

[[0], [0]] >> 0.9719657241512317
[[1], [0]] >> 0.9724187979341556
[[0], [1]] >> 0.9736236543859843
[[1], [1]] >> 0.9739884707274225

学习率：1
layer_sizes : (2,2,1)
纪元：100

[[0], [0]] >> 0.3912836914268991
[[1], [0]] >> 0.49042088270977163
[[0], [1]] >> 0.4499482050352108
[[1], [1]] >> 0.5324205501065111

Answer 1

我好像修好了。我做了三个主要更改：

我在输出层误差计算中切换了 a 和 o，然后看起来像这样：error = (o - a) * self.activationPrime( self.zCollection[-1] ).

更新权重和偏差时我替换了

self.weights[-1] += np.matmul(error, self.activation(self.zCollection[-2]).T) * self.rate
self.biases[-1] += error * self.rate

与

self.weights[-1] = np.add(self.weights[-1], np.matmul(error, self.activation(self.zCollection[-2]).T) * self.rate)
self.biases[-1] = np.add(self.biases[-1], error * self.rate)

我在 for 循环中做了同样的事情。要查看该代码，请参考 post.

中的代码

虽然这些更改不适用于少量的 epoch，但我将它们增加到 100000，这确实有效。但是，当降低学习率时，我不得不再次增加 epochs 的数量。

通过这些新参数和更改，我得到了以下示例：

学习率：1
layer_sizes : (2,2,1)
纪元：100000

[[0], [0]] >> 0.0024879823892047168
[[1], [0]] >> 0.9970151468472171
[[0], [1]] >> 0.996966687356631
[[1], [1]] >> 0.003029227917616288

我很确定这些问题（如果您甚至可以这样称呼它们的话）与我的代码无关，而只是前馈神经网络的一个特征。

我花了一段时间才发现算法中的第 4 个问题。在 backprop 方法中的第二个 for 循环中，error 计算不正确。该行实际上应该是 error = np.multiply(np.matmul(self.weights[-i+1].T, error), self.activationPrime(self.zCollection[-i]))

前馈神经网络总是输出随机但相似的值

Feed Forward Neural Network Always outputs Random but Similar Values

python

neural-network

feed-forward