了解张量流函数输出

Question

有人可以解释为什么以下代码会生成 array([ 0.59813887, 0.69314718], dtype=float32) 的输出吗？比如numpy.log(0.5) = 0.69314718，但是0.598138是怎么来的呢？

import tensorflow as tf
res1 = tf.nn.sparse_softmax_cross_entropy_with_logits(_sentinel=None, labels=[1, 0], logits=[[0.4, 0.6], [0.5, 0.5]], name=None)
res2 = tf.nn.sparse_softmax_cross_entropy_with_logits(_sentinel=None, labels=[0, 1], logits=[[0.4, 0.6], [0.5, 0.5]], name=None)
res3 = tf.nn.sparse_softmax_cross_entropy_with_logits(_sentinel=None, labels=[1, 0], logits=[[0.6, 0.4], [0.5, 0.5]], name=None)
sess = tf.Session()
sess.run(res1)

Answer 1

您提供的 logits 分别用于类 0 和 1（这就是 tensorflow 的理解方式）。

因此，对于 res1 - 第一个数据点的概率 (class1) 为 0.6

根据定义，交叉熵是 -

-np.log(np.exp([0.6]) / np.sum(np.exp([0.4, 0.6])))

同样，对于第二种情况——

-np.log(np.exp([0.5]) / np.sum(np.exp([0.5, 0.5])))

给出了想要的输出。

这与 Tensorflow 的输出一致。希望这对您有所帮助！

Answer 2

事实证明，对于这个函数，tensorflow 将其解释为一个 logit 输入，这意味着它需要先反转 log(p/1-p) 操作以获得 softmax 输出，然后才能计算交叉熵，但我还没有找出为什么没有直接从概率输出计算交叉熵的功能

这是一个 post https://github.com/tensorflow/tensorflow/issues/2462

的答案

了解张量流函数输出

understanding tensor flow function output

python

deep-learning

tensorflow

cross-entropy