为什么异或函数的这种变体并不总是收敛？

Question

我正在尝试在 TensorFlow 中实现一个简单的 XOR 门。我的问题是我的函数并不总是收敛。

如果我没记错的话，XOR space 没有局部最小值，所以我不明白为什么会这样。

--

我看到这个答案：，而且总是收敛。我从@mrry 的答案中提取了代码并稍作修改，因此它只有一个而不是两个输出节点，我使用 tanh 激活函数而不是 relu & softmax 并调整了 cross_entropy 函数。

import math
import tensorflow as tf
import numpy as np

HIDDEN_NODES = 10

x = tf.placeholder(tf.float32, [None, 2])
W_hidden = tf.Variable(tf.truncated_normal([2, HIDDEN_NODES], stddev=1./math.sqrt(2)))
b_hidden = tf.Variable(tf.zeros([HIDDEN_NODES]))
hidden = tf.tanh(tf.matmul(x, W_hidden) + b_hidden)

W_logits = tf.Variable(tf.truncated_normal([HIDDEN_NODES, 1], stddev=1./math.sqrt(HIDDEN_NODES)))
b_logits = tf.Variable(tf.zeros([1]))
logits = tf.matmul(hidden, W_logits) + b_logits
y = tf.tanh(logits)

y_input = tf.placeholder(tf.float32, [None, 1])

cross_entropy = tf.abs(tf.sub(y_input, y))
loss = tf.reduce_mean(cross_entropy)

train_op = tf.train.GradientDescentOptimizer(0.2).minimize(loss)

xTrain = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
yTrain = np.array([[-1], [1], [1], [-1]])

for d in xrange(20):
    init_op = tf.initialize_all_variables()

    sess = tf.Session()
    sess.run(init_op)

    for i in xrange(500):
      _, loss_val = sess.run([train_op, loss], feed_dict={x: xTrain, y_input: yTrain})

      if i % 10 == 0:
        print "Step:", i, "Current loss:", loss_val
        for x_input in [[0, 0], [0, 1], [1, 0], [1, 1]]:
          print x_input, sess.run(y, feed_dict={x: [x_input]})
    assert loss_val < 0.01

谁能解释一下为什么我的解决方案有时无法收敛？谢谢

Answer 1

您计算错误的方式是让您的网络太容易陷入局部最小值。我怀疑这是因为 xor 函数的 l1 范数在从现有解决方案移动时有太多等权重的不良解决方案。（但我并不肯定 - ML 专家可以在这里为您提供更准确的答案。我只是一个系统骗子。）

轻松修复：替换这些行：

cross_entropy = tf.abs(tf.sub(y_input, y))
loss = tf.reduce_mean(cross_entropy)

与：

loss = tf.nn.l2_loss(y_input - y)

为什么异或函数的这种变体并不总是收敛？

Why does this variant of the XOR function not always converge?

neural-network

tensorflow