计算 sigmoid 最快的方法是什么？

Question

我正在尝试实现一个循环神经网络，其中选择 sigmoid 作为激活函数。

我的第一个原型是用 python 编写的，我发现 sigmoid 是程序的瓶颈，占总 运行 时间的 ~30%。

# x is a fixed size vector here
def sigmoid(x):
    return numpy.reciprocal(1.0 + numpy.exp(-x))

所以我尝试了另一种实现方式

def sigmoid(x):
    y = numpy.exp(x)
    return y/(1+y)

并且令人惊讶地发现它比第一种方法快 50%。

我也试过第三种方法

def sigmoid(x):
    return (1.0+numpy.tanh(x/2.0))/2.0

，比第一种方法稍慢。

后来我用 C++ 测试了所有 3 个实现。前两种方法几乎没有任何区别，tanh 稍快（~5%）。为什么会这样？我在想 numpy 是用 C++ 编写的。

Answer 1

基于this it seems your best bet is scipy.special.expit