神经网络中的所有神经元不总是 fire/activate 吗?

Don't all neurons in a neural network always fire/activate?

我对激活函数和 blogs/posts 感到有点困惑,他们不断提到神经元 未激活 未被激发 .

但是从数学上讲,如果任何激活函数(无论是 sigmoid、tanh、relu)计算出的输出为 0,那么下一层中所有连接的神经元是否仍会得到该值? 如果是这样,那是否意味着这个神经元仍然 firing/activating?

或者我只是错了,神经元真的 没有发射 并且它真的没有为下一层中任何连接的神经元提供任何价值?这在数学上是如何工作的?

请帮我解惑:)[​​=11=]

not activatednot fired 等表达式,以及术语 neuron本身,只是隐喻性的描述,不应从表面上看。它们只是用来口头描述机器学习中使用的(人工)神经网络与生物的实际神经元网络之间的(非常)松散的类比,仅此而已。

正如您猜想的那样,在这种情况下,"neuron" 确实会产生输出值 0 并在网络中传播。因为实际上那里没有任何神经元,只有计算机程序中的变量,出于数学和计算原因,必须始终具有值。