如何理解"individual neurons are the basis directions of activation space"？
How to understand "individual neurons are the basis directions of activation space"?
最近在 Distill (link) 发表的一篇关于可视化卷积神经网络内部表示的文章中，有以下段落（粗体是我的）：
If neurons are not the right way to understand neural nets, what is? In real life, combinations of neurons work together to represent images in neural networks. Individual neurons are the basis directions of activation space, and it is not clear that these should be any more special than any other direction.
Szegedy et al.[11] found that random directions seem just as meaningful as the basis directions. More recently Bau, Zhou et al.[12] found basis directions to be interpretable more often than random directions. Our experience is broadly consistent with both results; we find that random directions often seem interpretable, but at a lower rate than basis directions.
我觉得他们在谈论线性代数表示，但很难理解一个神经元如何表示一个基向量。
所以此时我有两个主要问题：
- 一个神经元只有一个标量输出，那怎么可能是一个基本方向呢？
- 什么是激活 space 以及如何直观地思考它？
我觉得理解这些可以真正拓宽我对神经网络内部几何结构的直觉。有人可以帮助解释或指出从线性代数的角度理解神经网络内部过程的方向吗？
我的直觉是：如果你有一个隐藏层，例如10个神经元，那么这10个神经元的激活跨越一个10维space。 "Individual neurons are the basis directions of activation space" 则表示类似于 "the 10 states where exactly one neuron is 1 and the others are 0 are unit vectors that span this 'activation space'"。但显然，任何独立的 10 个向量集跨越相同的 space。而且由于全连接层基本上只是前一层输出的矩阵乘积，因此没有明显的理由说明为什么这些单位向量应该有任何特殊之处。
如果您试图想象这个隐藏层代表什么，这一点很重要：谁说 "neuron 3" 或状态 "neuron 3 is active and the other neurons are 0" 甚至 代表什么？ "neurons 2,3 and 5 are 1, neuron 7 is -2 and the others are 0" 同样有可能有视觉表示，但单位向量没有。
理想情况下，您会希望随机向量表示不同的概念，因为那样的话，具有 n 个神经元的隐藏层可以表示 O(p^n) 个概念（对于某些 p > 1), 而不是n个单位向量的n个概念
最近在 Distill (link) 发表的一篇关于可视化卷积神经网络内部表示的文章中，有以下段落（粗体是我的）：
If neurons are not the right way to understand neural nets, what is? In real life, combinations of neurons work together to represent images in neural networks. Individual neurons are the basis directions of activation space, and it is not clear that these should be any more special than any other direction.
Szegedy et al.[11] found that random directions seem just as meaningful as the basis directions. More recently Bau, Zhou et al.[12] found basis directions to be interpretable more often than random directions. Our experience is broadly consistent with both results; we find that random directions often seem interpretable, but at a lower rate than basis directions.
我觉得他们在谈论线性代数表示，但很难理解一个神经元如何表示一个基向量。
所以此时我有两个主要问题：
- 一个神经元只有一个标量输出，那怎么可能是一个基本方向呢？
- 什么是激活 space 以及如何直观地思考它？
我觉得理解这些可以真正拓宽我对神经网络内部几何结构的直觉。有人可以帮助解释或指出从线性代数的角度理解神经网络内部过程的方向吗？
我的直觉是：如果你有一个隐藏层，例如10个神经元，那么这10个神经元的激活跨越一个10维space。 "Individual neurons are the basis directions of activation space" 则表示类似于 "the 10 states where exactly one neuron is 1 and the others are 0 are unit vectors that span this 'activation space'"。但显然，任何独立的 10 个向量集跨越相同的 space。而且由于全连接层基本上只是前一层输出的矩阵乘积，因此没有明显的理由说明为什么这些单位向量应该有任何特殊之处。
如果您试图想象这个隐藏层代表什么，这一点很重要：谁说 "neuron 3" 或状态 "neuron 3 is active and the other neurons are 0" 甚至 代表什么？ "neurons 2,3 and 5 are 1, neuron 7 is -2 and the others are 0" 同样有可能有视觉表示，但单位向量没有。
理想情况下，您会希望随机向量表示不同的概念，因为那样的话，具有 n 个神经元的隐藏层可以表示 O(p^n) 个概念（对于某些 p > 1), 而不是n个单位向量的n个概念