LeakyReLU 中的 "negative" 斜率在哪里？

Question

LeakyReLU 函数中的负斜率指的是什么？

TensorFlow 和 Pytorch 的文档中都使用了术语“负斜率”，但它似乎并不指向现实。
LeakyReLU 函数对于正输入和负输入的斜率通常都是非负的。

Pytorch 和 TensorFlow 文档提供了设置负斜率的示例，它们都使用正值。 TensorFlow 明确强制执行非负值。 （见下文）

他们是错了还是我遗漏了什么？

Pytorch docs:

CLASStorch.nn.LeakyReLU(negative_slope=0.01, inplace=False)

Tensorflow LeakyReLU:

Args alpha Float >= 0. Negative slope coefficient. Default to 0.3.

Answer 1

negative_slope 在这种情况下表示 Leaky ReLU 的 斜率 的 负 一半。它没有描述必然为负的斜率。

命名kwargs时通常使用简洁的术语，这里的“负斜率”和“正斜率”是指跨越负[-∞,0]和正(0,∞]的线性样条的斜率Leaky ReLU 域的一半。