如果训练中不包含softmax,那么在TensorFlow中如何获取softmax的参数?

How the parameters of softmax are obtained in TensorFlow if the softmax is not included in training?

Here is a tensorflow graph,我们可以看到交叉熵的输入之一是logit层的输出,而不是图中softmax的输出。

我搜索了一下,在 this webpage 上找到了 "WARNING: This op expects unscaled logits, since it performs a softmax on logits internally for efficiency. Do not call this op with the output of softmax, as it will produce incorrect results."。

我的问题是如果这个softmax没有训练的话,softmax的参数是怎么得到的?

Softmax 和 RELU、Tanh 或 Sigmoid 一样是无参数激活函数:不需要训练。它仅计算每个 logit 的指数,然后通过指数之和对输出向量进行归一化。