softmax 和 log-softmax 有什么区别？
What is the difference between softmax and log-softmax?
这个pytorch中已经描述过的这两个函数的区别post：What is the difference between log_softmax and softmax?
是：exp(x_i) / exp(x).sum()
log softmax 是：log(exp(x_i) / exp(x).sum()).
但是对于下面的 Pytorch 代码，为什么我得到不同的输出：
>>> it = autograd.Variable(torch.FloatTensor([0.6229,0.3771]))
>>> op = autograd.Variable(torch.LongTensor([0]))
>>> m = nn.Softmax()
>>> log = nn.LogSoftmax()
>>> m(it)
Variable containing:
`0.5611 0.4389`
[torch.FloatTensor of size 1x2]
>>>log(it)
Variable containing:
-0.5778 -0.8236
[torch.FloatTensor of size 1x2]
然而，值log(0.5611)是-0.25095973129，log(0.4389)是-0.35763441915
为什么会有这样的差异？
默认情况下，torch.log提供输入的自然对数，所以PyTorch的输出是正确的：
ln([0.5611,0.4389])=[-0.5778,-0.8236]
您最后的结果是使用以 10 为底的对数获得的。
不仅默认而且总是 torch.log 是自然对数。
而 torch.log10 是以 10 为底的对数。
这个pytorch中已经描述过的这两个函数的区别post：What is the difference between log_softmax and softmax?
是：exp(x_i) / exp(x).sum()
log softmax 是：log(exp(x_i) / exp(x).sum()).
但是对于下面的 Pytorch 代码，为什么我得到不同的输出：
>>> it = autograd.Variable(torch.FloatTensor([0.6229,0.3771]))
>>> op = autograd.Variable(torch.LongTensor([0]))
>>> m = nn.Softmax()
>>> log = nn.LogSoftmax()
>>> m(it)
Variable containing:
`0.5611 0.4389`
[torch.FloatTensor of size 1x2]
>>>log(it)
Variable containing:
-0.5778 -0.8236
[torch.FloatTensor of size 1x2]
然而，值log(0.5611)是-0.25095973129，log(0.4389)是-0.35763441915
为什么会有这样的差异？
默认情况下，torch.log提供输入的自然对数，所以PyTorch的输出是正确的：
ln([0.5611,0.4389])=[-0.5778,-0.8236]
您最后的结果是使用以 10 为底的对数获得的。
不仅默认而且总是 torch.log 是自然对数。
而 torch.log10 是以 10 为底的对数。