在简单的多层 FFNN 中，只有 ReLU 激活函数不收敛

Question

我正在学习 tensorflow、深度学习和试验各种激活函数。

我为 MNIST 问题创建了一个多层 FFNN。主要基于tensorflow官网的教程，只是增加了3个隐藏层。

我试验过的激活函数有：tf.sigmoid、tf.nn.tanh、tf.nn.softsign、tf.nn.softmax、tf.nn.relu。只有tf.nn.relu不收敛，网络输出随机噪声（测试准确率10%左右）。以下是我的源代码：

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

x = tf.placeholder(tf.float32, [None, 784])

W0 = tf.Variable(tf.random_normal([784, 200]))
b0 = tf.Variable(tf.random_normal([200]))
hidden0 = tf.nn.relu(tf.matmul(x, W0) + b0)

W1 = tf.Variable(tf.random_normal([200, 200]))
b1 = tf.Variable(tf.random_normal([200]))
hidden1 = tf.nn.relu(tf.matmul(hidden0, W1) + b1)

W2 = tf.Variable(tf.random_normal([200, 200]))
b2 = tf.Variable(tf.random_normal([200]))
hidden2 = tf.nn.relu(tf.matmul(hidden1, W2) + b2)

W3 = tf.Variable(tf.random_normal([200, 10]))
b3 = tf.Variable(tf.random_normal([10]))
y = tf.matmul(hidden2, W3) + b3

y_ = tf.placeholder(tf.float32, [None, 10])

cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y))
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(cross_entropy)
with tf.Session() as session:
    session.run(tf.global_variables_initializer())
    for _ in range(10000):
        batch_xs, batch_ys = mnist.train.next_batch(128)
        session.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
        if _ % 1000 == 0:
            correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
            accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
            print(_, session.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))

    correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
    accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
    print('final:', session.run(accuracy, feed_dict={x: mnist.test.images,
            y_: mnist.test.labels}))

代码输出如下：

0 0.098
1000 0.098
2000 0.098
3000 0.098
4000 0.098
5000 0.098
6000 0.098
7000 0.098
8000 0.098
9000 0.098
final: 0.098

如果将tf.nn.relu替换为其他激活函数，网络精度会逐渐提高（尽管最终精度不同），这是预期的。

我在 5 月 textbooks/tutorials 读到 ReLU 应该是激活函数的第一个候选者。

我的问题是为什么 ReLU 在我的网络中不起作用？还是我的程序完全错误？

Answer 1

您正在使用 Relu 激活函数，该函数按如下方式计算激活，

最大（特征，0）

由于它输出最大值，这有时会导致梯度爆炸。

Gradientdecnt 优化器通过以下方式更新权重，

Δwij = −η ∂Ei/ ∂wij

其中η是学习率，∂Ei/∂wij是损失w.r.t权重的偏导.当 max values 越来越大时，偏导数也会变大并导致 exploding gradient。因此，正如您在等式中观察到的那样，您需要调整学习率 (η) 来克服这种情况。

一个常见的规则是降低学习率，通常每次降低 10 倍。

对于您的情况，将学习率设置为 0.001 会提高准确性。

希望对您有所帮助。

在简单的多层 FFNN 中，只有 ReLU 激活函数不收敛

In simple multi-layer FFNN only ReLU activation function doesn't converge

machine-learning

tensorflow

deep-learning

activation-function