为什么在 sotfmax_cross_entropy_with_logits 中将 logit 解释为 'unscaled log probabililty'？
why explain logit as 'unscaled log probabililty' in sotfmax_cross_entropy_with_logits?
在 tensorflow 文档 (softmax_cross_entropy_with_logits) 中，他们说 "logits : unscaled log probablilty"。什么是 'log probability'？
首先，我知道 'logits' 是 'output before normalization' 或 'score for class'。
logits = tf.matmul(X,W) + b
hypothesis = tf.nn.softmax(logits)
如果我通过 tf.matmul(X,W) + b 得到 [1.5, 2.4, 0,7]，那么 [1.5, 2.4, 0,7] 就是 logits(score)，这是未缩放的。到这个阶段我都能理解。但是，我不明白为什么 [1.5, 2.4, 0.7] 是 'log probability'。
如果您将 softmax 函数的输出解释为概率（正如我们喜欢做的那样），那么很容易看出 "log probability" 来自：
softmax函数是
\exp{z_k}/\sum_i{\exp{z_i}},
将 z_i 作为 "logits" 的组成部分。分母只负责归一化，即它确保所有输出总和为 1（如果我们想将它们解释为一组互斥 类 的概率，这是有意义的）。所以，从分子来看，softmax 函数的输出基本上就是 exp(z)。如果我们将此解释为概率，则 z（"logits"）是非标准化概率的对数。
谢谢大家！
我找到了这个 post。差不多解决了我的疑问。
https://stats.stackexchange.com/questions/52825/what-does-the-logit-value-actually-mean
在 tensorflow 文档 (softmax_cross_entropy_with_logits) 中，他们说 "logits : unscaled log probablilty"。什么是 'log probability'？
首先，我知道 'logits' 是 'output before normalization' 或 'score for class'。
logits = tf.matmul(X,W) + b
hypothesis = tf.nn.softmax(logits)
如果我通过 tf.matmul(X,W) + b 得到 [1.5, 2.4, 0,7]，那么 [1.5, 2.4, 0,7] 就是 logits(score)，这是未缩放的。到这个阶段我都能理解。但是，我不明白为什么 [1.5, 2.4, 0.7] 是 'log probability'。
如果您将 softmax 函数的输出解释为概率（正如我们喜欢做的那样），那么很容易看出 "log probability" 来自：
softmax函数是
\exp{z_k}/\sum_i{\exp{z_i}},
将 z_i 作为 "logits" 的组成部分。分母只负责归一化，即它确保所有输出总和为 1（如果我们想将它们解释为一组互斥 类 的概率，这是有意义的）。所以，从分子来看，softmax 函数的输出基本上就是 exp(z)。如果我们将此解释为概率，则 z（"logits"）是非标准化概率的对数。
谢谢大家！
我找到了这个 post。差不多解决了我的疑问。
https://stats.stackexchange.com/questions/52825/what-does-the-logit-value-actually-mean