如何在python中实现Leaky Relu的导数?
How to implement the derivative of Leaky Relu in python?
如何在不使用 Tensorflow 的情况下在 Python 中实现 Leaky ReLU 的导数?
还有比这更好的方法吗?我希望函数 return 一个 numpy 数组
def dlrelu(x, alpha=.01):
# return alpha if x < 0 else 1
return np.array ([1 if i >= 0 else alpha for i in x])
在此先感谢您的帮助
您使用的方法有效,但严格来说,您计算的是关于损失或下层的导数,因此从下层传递值来计算导数可能是明智的(dl/dx).
无论如何,你可以避免使用对大 x
更有效的循环。这是一种方法:
def dlrelu(x, alpha=0.01):
dx = np.ones_like(x)
dx[x < 0] = alpha
return dx
如果你从下层传递错误,它看起来像这样:
def dlrelu(dl, x, alpha=0.01):
""" dl and x have same shape. """
dx = np.ones_like(x)
dx[x < 0] = alpha
return dx*dl
一个简单方便的函数:
def leakyReLU_deriv(x, alpha=0.01):
return np.where(x>0, 1, alpha)
如何在不使用 Tensorflow 的情况下在 Python 中实现 Leaky ReLU 的导数?
还有比这更好的方法吗?我希望函数 return 一个 numpy 数组
def dlrelu(x, alpha=.01):
# return alpha if x < 0 else 1
return np.array ([1 if i >= 0 else alpha for i in x])
在此先感谢您的帮助
您使用的方法有效,但严格来说,您计算的是关于损失或下层的导数,因此从下层传递值来计算导数可能是明智的(dl/dx).
无论如何,你可以避免使用对大 x
更有效的循环。这是一种方法:
def dlrelu(x, alpha=0.01):
dx = np.ones_like(x)
dx[x < 0] = alpha
return dx
如果你从下层传递错误,它看起来像这样:
def dlrelu(dl, x, alpha=0.01):
""" dl and x have same shape. """
dx = np.ones_like(x)
dx[x < 0] = alpha
return dx*dl
一个简单方便的函数:
def leakyReLU_deriv(x, alpha=0.01):
return np.where(x>0, 1, alpha)