为什么在 Tensorflow 简单神经网络示例中再添加一层会破坏它?
Why adding one more layer to the Tensorflow simple neural net example breaks it?
这里是 a basic Tensorflow network example(基于 MNIST),完整代码,准确率大约为 0.92:
import numpy as np
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
x = tf.placeholder(tf.float32, [None, 784])
W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
y = tf.nn.softmax(tf.matmul(x, W) + b)
y_ = tf.placeholder(tf.float32, [None, 10])
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))
train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)
sess = tf.InteractiveSession()
tf.global_variables_initializer().run() # or
tf.initialize_all_variables().run()
for _ in range(1000):
batch_xs, batch_ys = mnist.train.next_batch(100)
sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))
问题:为什么像下面的代码那样添加一个额外的层会使它变得更糟,精度下降到大约 0.11?
W = tf.Variable(tf.zeros([784, 100]))
b = tf.Variable(tf.zeros([100]))
h0 = tf.nn.relu(tf.matmul(x, W) + b)
W2 = tf.Variable(tf.zeros([100, 10]))
b2 = tf.Variable(tf.zeros([10]))
y = tf.nn.softmax(tf.matmul(h0, W2) + b2)
该示例未正确初始化权重,但没有隐藏层,事实证明该演示所做的有效线性 softmax 回归不受该选择的影响。将它们全部设置为零是安全的,但仅适用于单层网络。
当你建立一个更深的网络时,这是一个灾难性的选择。你必须使用神经网络权重的非等初始化,通常快速的方法是随机。
试试这个:
W = tf.Variable(tf.random_uniform([784, 100], -0.01, 0.01))
b = tf.Variable(tf.zeros([100]))
h0 = tf.nn.relu(tf.matmul(x, W) + b)
W2 = tf.Variable(tf.random_uniform([100, 10], -0.01, 0.01))
b2 = tf.Variable(tf.zeros([10]))
y = tf.nn.softmax(tf.matmul(h0, W2) + b2)
您需要这些不同权重的原因与反向传播的工作原理有关 - 层中的权重值决定了该层如何计算梯度。如果所有的权重都相同,那么所有的梯度都将相同。这反过来意味着所有的权重更新都是相同的——一切都在同步变化,并且行为类似于你在隐藏层中有一个 单个 神经元(因为你有多个神经元具有相同的参数),实际上只能选择一个 class.
Neil 很好地向您解释了如何解决您的问题,我将添加一点解释为什么会发生这种情况。
问题不在于梯度都相同,而在于它们全部为 0 的事实。发生这种情况是因为 relu(Wx + b) = 0
当 W = 0
和 b = 0
.甚至还有一个名字——死神经元。
网络根本没有进步,无论你训练100万的1步都没有关系。结果与随机选择没有什么不同,你看到它的准确度是 0.11(如果你随机 select 东西你会得到 0.10)。
这里是 a basic Tensorflow network example(基于 MNIST),完整代码,准确率大约为 0.92:
import numpy as np
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
x = tf.placeholder(tf.float32, [None, 784])
W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
y = tf.nn.softmax(tf.matmul(x, W) + b)
y_ = tf.placeholder(tf.float32, [None, 10])
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))
train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)
sess = tf.InteractiveSession()
tf.global_variables_initializer().run() # or
tf.initialize_all_variables().run()
for _ in range(1000):
batch_xs, batch_ys = mnist.train.next_batch(100)
sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))
问题:为什么像下面的代码那样添加一个额外的层会使它变得更糟,精度下降到大约 0.11?
W = tf.Variable(tf.zeros([784, 100]))
b = tf.Variable(tf.zeros([100]))
h0 = tf.nn.relu(tf.matmul(x, W) + b)
W2 = tf.Variable(tf.zeros([100, 10]))
b2 = tf.Variable(tf.zeros([10]))
y = tf.nn.softmax(tf.matmul(h0, W2) + b2)
该示例未正确初始化权重,但没有隐藏层,事实证明该演示所做的有效线性 softmax 回归不受该选择的影响。将它们全部设置为零是安全的,但仅适用于单层网络。
当你建立一个更深的网络时,这是一个灾难性的选择。你必须使用神经网络权重的非等初始化,通常快速的方法是随机。
试试这个:
W = tf.Variable(tf.random_uniform([784, 100], -0.01, 0.01))
b = tf.Variable(tf.zeros([100]))
h0 = tf.nn.relu(tf.matmul(x, W) + b)
W2 = tf.Variable(tf.random_uniform([100, 10], -0.01, 0.01))
b2 = tf.Variable(tf.zeros([10]))
y = tf.nn.softmax(tf.matmul(h0, W2) + b2)
您需要这些不同权重的原因与反向传播的工作原理有关 - 层中的权重值决定了该层如何计算梯度。如果所有的权重都相同,那么所有的梯度都将相同。这反过来意味着所有的权重更新都是相同的——一切都在同步变化,并且行为类似于你在隐藏层中有一个 单个 神经元(因为你有多个神经元具有相同的参数),实际上只能选择一个 class.
Neil 很好地向您解释了如何解决您的问题,我将添加一点解释为什么会发生这种情况。
问题不在于梯度都相同,而在于它们全部为 0 的事实。发生这种情况是因为 relu(Wx + b) = 0
当 W = 0
和 b = 0
.甚至还有一个名字——死神经元。
网络根本没有进步,无论你训练100万的1步都没有关系。结果与随机选择没有什么不同,你看到它的准确度是 0.11(如果你随机 select 东西你会得到 0.10)。