在不使用 Tensorflow 的情况下，如何在 Python 中实现 Leaky ReLU 的导数？
还有比这更好的方法吗？我希望该函数返回一个 numpy 数组
def dlrelu(x, alpha=.01):
# return alpha if x < 0 else 1
return np.array ([1 if i >= 0 else alpha for i in x])
先谢谢您的帮助
您使用的方法有效，但严格来说，您正在计算相对于损失或较低层的导数，因此明智的做法是还传递来自较低层的值来计算导数 (dl/dx)。
无论如何，您可以避免使用循环，这对于大型x。这是一种方法：
def dlrelu(x, alpha=0.01):
dx = np.ones_like(x)
dx[x < 0] = alpha
return dx
如果你从下层传递错误，它看起来像这样：
def dlrelu(dl, x, alpha=0.01):
""" dl and x have same shape. """
dx = np.ones_like(x)
dx[x < 0] = alpha
return dx*dl
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
