为什么有些神经网络结构无法拟合问题？

Question

我正在玩我为 xor-ing 编写的神经网络代码。我写了这个模型：

import tensorflow as tf
from tensorflow import keras
import matplotlib.pyplot as plt

model = keras.Sequential()
model.add(tf.keras.Input(shape=(2,)))
#model.add(keras.layers.Dense(2))
model.add(keras.layers.Dense(4, activation='relu'))
model.add(keras.layers.Dense(16, activation='relu'))
model.add(keras.layers.Dense(1, activation='sigmoid'))

optimizer = keras.optimizers.Adam(lr=0.2) #for example
model.compile(optimizer=optimizer,
              loss=tf.losses.BinaryCrossentropy(),
              metrics=['accuracy'])

# X_train, Y_train = ([[0, 0], [0, 1], [1, 0], [1, 1]], [[0], [1], [1], [0]])
X_train = tf.cast([[0, 0], [0, 1], [1, 0], [1, 1]], tf.float32)
Y_train = tf.cast([0, 1, 1, 0], tf.float32)

# train model and plot loss
hist = model.fit(X_train, Y_train, epochs=10000)
plt.plot(hist.history['loss'])
plt.show()

print(model.predict([[0, 1]]))
print(model.predict([[1, 1]]))
print(model.predict([[1, 0]]))
print(model.predict([[0, 0]]))

一半的时间我会在这个模型中获得 100% 的准确率，而一半的时间我只会获得 75%（有时甚至 50%）。即使在 10000 个 epoch 之后，模型也找不到合适的方法！

我注意到，只需按照下面的代码所示切换图层即可获得 100% 的准确度 always。

model.add(tf.keras.Input(shape=(2,)))
#model.add(keras.layers.Dense(2))
#model.add(keras.layers.Dense(4, activation='relu'))
model.add(keras.layers.Dense(16, activation='relu'))
model.add(keras.layers.Dense(1, activation='sigmoid'))

问题

为什么会这样？为什么这个简单的模型即使在 10K 轮之后也不能很好地拟合，而新模型需要少于 500 轮？是什么让旧模型具体收敛到该百分比？

Answer 1

对于异或问题架构2隐藏1个输出神经元能够解决它。我想提的第一件事是我们对问题的看法。我知道这对我们人类来说似乎微不足道，但这并不意味着对于这些简单的网络来说这也是微不足道的。

异或是线性non-separable问题的典型例子。根据我的经验，当我尝试使用 [2, 1] 架构解决它时，我成功了，但也需要很多时间。

其次，这些架构有时无法在给定的时代解决。几乎可以保证，如果你训练的时间更长，你就会得出结论（有时太长了）。

第三件事是。我提到 [2, 1] 可以解决它。让我们关注 2。2 个隐藏神经元意味着您有两个 non-linear 输入组合。所以你将 2-Dimensional 映射到 2-Dimensional space，非线性让你有机会在这个新的 space 中输入可分离。事情是这样的，也许神经网络很难在这个映射上进行这种分离。当您使用 16 个隐藏层时，您会创建 16 个非线性组合，并且从您的结果中我们可以看到更容易找到良好的分离。

Answer 2

每当您观察到运行相同的网络配置多次导致非常不同的行为时，这意味着初始权重配置（这是运行之间的唯一区别）导致了这种情况。但是，这并不意味着初始化方案有问题。它可能只是意味着梯度下降在您提供的初始化附近的参数 space 中卡住非常快。

发生这种情况的主要原因之一是学习率太大：网络提前跳到局部最小值，但卡在这个山谷的边缘而不是它的最小值。如果您将学习率更改为 lr=0.01，您将看到网络每次都有 100% 的准确率。

我的猜测是，您提供的另一个网络具有更高的学习率，因为它的参数更少，因此需要操作的参数更简单 space。

为什么有些神经网络结构无法拟合问题？

Why are some neural network structures unable to fit a problem?

python

machine-learning

xor

neural-network

tensorflow

问题