神经网络中的所有神经元不总是 fire/activate 吗?
Don't all neurons in a neural network always fire/activate?
我对激活函数和 blogs/posts 感到有点困惑,他们不断提到神经元 未激活 或 未被激发 .
但是从数学上讲,如果任何激活函数(无论是 sigmoid、tanh、relu)计算出的输出为 0,那么下一层中所有连接的神经元是否仍会得到该值?
如果是这样,那是否意味着这个神经元仍然 firing/activating?
或者我只是错了,神经元真的 没有发射 并且它真的没有为下一层中任何连接的神经元提供任何价值?这在数学上是如何工作的?
请帮我解惑:)[=11=]
not activated 和 not fired 等表达式,以及术语 neuron本身,只是隐喻性的描述,不应从表面上看。它们只是用来口头描述机器学习中使用的(人工)神经网络与生物的实际神经元网络之间的(非常)松散的类比,仅此而已。
正如您猜想的那样,在这种情况下,"neuron" 确实会产生输出值 0 并在网络中传播。因为实际上那里没有任何神经元,只有计算机程序中的变量,出于数学和计算原因,必须始终具有值。
我对激活函数和 blogs/posts 感到有点困惑,他们不断提到神经元 未激活 或 未被激发 .
但是从数学上讲,如果任何激活函数(无论是 sigmoid、tanh、relu)计算出的输出为 0,那么下一层中所有连接的神经元是否仍会得到该值? 如果是这样,那是否意味着这个神经元仍然 firing/activating?
或者我只是错了,神经元真的 没有发射 并且它真的没有为下一层中任何连接的神经元提供任何价值?这在数学上是如何工作的?
请帮我解惑:)[=11=]
not activated 和 not fired 等表达式,以及术语 neuron本身,只是隐喻性的描述,不应从表面上看。它们只是用来口头描述机器学习中使用的(人工)神经网络与生物的实际神经元网络之间的(非常)松散的类比,仅此而已。
正如您猜想的那样,在这种情况下,"neuron" 确实会产生输出值 0 并在网络中传播。因为实际上那里没有任何神经元,只有计算机程序中的变量,出于数学和计算原因,必须始终具有值。