tensorflow中theano的categorical_crossentropy函数的等价性

Question

tensorflow中以下theano函数的等价函数可能是什么？

Theano.tensor.nnet.categorical_crossentropy(o, y)

Answer 1

对于具有二维概率分布的二维张量：

def crossentropy(p_approx, p_true):
  return -tf.reduce_sum(tf.multiply(p_true, tf.log(p_approx)), 1)

Answer 2

我认为您会想要使用 Tensorflow 中的 softmax cross-entropy loss。请记住，该层的输入是未缩放的 logits，即您不能将 softmax 输出提供给该层。它会给出错误的结果。

使用这种损失而不是softmax+分类交叉熵组合的另一个重要原因是softmax损失更稳定。参见 this loss in Caffe. Also for some discussion about stability, see this。