为什么pytorch有两种非线性激活？

Question

为什么pytorch有两种非线性激活？

非线性激活（加权和，非线性）： https://pytorch.org/docs/stable/nn.html#non-linear-activations-weighted-sum-nonlinearity

非线性激活（其他）：https://pytorch.org/docs/stable/nn.html#non-linear-activations-other

Answer 1

主要区别在于非线性激活（加权和，非线性）下列出的函数仅执行阈值处理和不规范化 输出。 （即结果张量 不需要 总和为 1，无论是在整体上还是在某些指定的轴/dim 上）

非线性示例：

nn.ReLU
nn.Sigmoid
nn.SELU
nn.Tanh

---

而非线性激活（其他）下列出的非线性执行阈值化和归一化（即如果没有指定轴/dimension，则结果张量总和为 1，或者对于整个张量；或者沿着指定的轴/dimensions）

示例非线性：（注意分母中的归一化项）

但是，nn.LogSoftmax() 除外，因为我们对 softmax 输出应用对数，因此结果张量总和不为 1。