Tensorflow 中逻辑运算符的梯度

Question

我正在尝试在 Tensorflow 中针对生成的数据创建一个非常简单的二进制 classifier。

我正在从两个独立的正态分布中生成随机数据。然后我将 class 将结果数据验证为二进制 class 如果它小于或大于数字，A.

理想情况下，A 将是两条法线中间的截止点。例如。如果我的数据是由N(1,1) + N(-1,1)生成的，那么A应该大约为0.

我遇到了 "No gradients provided for any variable..." 错误。具体来说：

No gradients provided for any variable: ((None, <tensorflow.python.ops.variables.Variable object at 0x7fd9e3fae710>),)

我认为这可能与Tensorflow无法计算逻辑运算符的梯度有关。我对任何给定 A 值的 class 化应该是这样的：

给定一个数据点 x 和一个 A 值：

[1,0] ：如果 x < A

[0,1] : 如果 x >= A

考虑到这个想法，这是我在 Tensorflow 中的输出计算：

my_output = tf.concat(0,[tf.to_float(tf.less(x_data, A)), tf.to_float(tf.greater_equal(x_data, A))])

这是执行此输出的错误方法吗？是否有非逻辑功能等价物？

谢谢。如果您想查看我的整个代码，这里有一个要点： https://gist.github.com/nfmcclure/46c323f0a55ae1628808f7a58b5d437f

编辑：完整堆栈跟踪：

Traceback (most recent call last):

  File "<ipython-input-182-f8837927493d>", line 1, in <module>
    runfile('/.../back_propagation.py', wdir='/')

  File "/usr/local/lib/python3.4/dist-packages/spyderlib/widgets/externalshell/sitecustomize.py", line 699, in runfile
execfile(filename, namespace)

  File "/usr/local/lib/python3.4/dist-packages/spyderlib/widgets/externalshell/sitecustomize.py", line 88, in execfile
exec(compile(open(filename, 'rb').read(), filename, 'exec'), namespace)

  File "/.../back_propagation.py", line 94, in <module>
train_step = my_opt.minimize(xentropy)

  File "/usr/local/lib/python3.4/dist-packages/tensorflow/python/training/optimizer.py", line 192, in minimize
name=name)

  File "/usr/local/lib/python3.4/dist-packages/tensorflow/python/training/optimizer.py", line 286, in apply_gradients
(grads_and_vars,))

ValueError: No gradients provided for any variable: ((None, <tensorflow.python.ops.variables.Variable object at 0x7fd9e3fae710>),)

Answer 1

通常您会使用 sigmoid 函数将函数的输出固定在 0 到 1 的范围内。您想要训练以下函数：

y = a*x_input + b，其中a和b是可训练变量。

您将使用的损失函数将是 tf.sigmoid_cross_entropy_with_logits

要评估 class，您需要评估 sigmoid(y) > 0.5。大于逻辑运算符没有创建优化函数的梯度。

Answer 2

您尝试使用的阈值函数在阈值处不可微，并且导数在其他任何地方都为零。正如 szabadaba 所提到的，您通常会使用 sigmoidal 函数作为二进制 classifier 的输出。对于 multiclass classification，使用 softmax 函数。这些函数可以解释为为您提供 class 值的概率或置信度（这比仅仅获得硬值更好）。重要的是，梯度表现良好。但是，你必须注意不要使单位饱和。

例如，参见：

LeCun (1998). Efficient BackProp.

在二进制 classification w/ sigmoidal 输出的情况下，他通过选择特定的 sigmoid 函数提出了一些关于保持在非饱和状态的有趣观点，正确映射到 class该乙状结肠等的标签

阅读逻辑回归教程可能会有所帮助。这是 TensorFlow and one for Theano.

的一个

Answer 3

我想也许你不应该使用 my_output 来计算损失，因为 tf 可能无法支持在 [ 中计算后向梯度=20=]和tf.greater运算您可以尝试在 x_data

中计算损失函数

Answer 4

只需将 my_output 更改为

my_output = tf.concat(0,[tf.to_float(tf.less(tf.div(x_data,A), 1.)), 
tf.to_float(tf.greater_equal(tf.div(x_data, A),1.0)])

Tensorflow 中逻辑运算符的梯度

Gradients of Logical Operators in Tensorflow

python

classification

tensorflow

logical-operators

gradient-descent