具有线性激活函数的多层感知器
Multilayer Perceptron with linear activation function
来自维基百科：
If a multilayer perceptron has a linear activation function in all neurons, that is, a linear function that maps the weighted inputs to the output of each neuron, then it is easily proved with linear algebra that any number of layers can be reduced to the standard two-layer input-output model (see perceptron).
我看过，我的理解是，这是因为线性函数的组合可以用线性函数表示，这是唯一的原因，对吗？
那么还原过程是怎样的呢？即如果我们有 3x5x2 MLP，SLP 会是什么样子？输入层的大小是基于用于表达线性函数的参数的数量，就像上面link的答案一样？：
f(x) = a x + b
g(z) = c z + d
g(f(x)) = c (a x + b) + d = ac x + cb + d = (ac) x + (cb + d)
所以它是 4 个输入？ （a、b、c、d 因为它是两个具有不同参数的线性函数的组合）
提前致谢！
大小为3X2，隐藏层直接消失，隐藏层线性函数的所有权重折叠为输入层的权重。在您的示例的这种情况下，有 3 次 5（输入到隐藏）即 15 个函数加上，5 次 2（隐藏到输出）即 10 个函数。所以总共有 25 个不同的线性函数。它们是不同的，因为每种情况下的权重不同。所以你描述的f(x)和g(z)是不正确的描述。
隐藏层的折叠可以通过简单地获取一个输入神经元和一个输出神经元，并通过隐藏层将连接这两个神经元的节点上的所有中间函数线性组合来实现。最后，您将剩下 6 个描述您的 3X2 映射的独特函数。
为了您自己的理解，请尝试使用简单的 2X2X1 MLP 在纸上执行此操作，每个节点具有不同的权重。
来自维基百科：
If a multilayer perceptron has a linear activation function in all neurons, that is, a linear function that maps the weighted inputs to the output of each neuron, then it is easily proved with linear algebra that any number of layers can be reduced to the standard two-layer input-output model (see perceptron).
我看过
那么还原过程是怎样的呢？即如果我们有 3x5x2 MLP，SLP 会是什么样子？输入层的大小是基于用于表达线性函数的参数的数量，就像上面link的答案一样？：
f(x) = a x + b
g(z) = c z + d
g(f(x)) = c (a x + b) + d = ac x + cb + d = (ac) x + (cb + d)
所以它是 4 个输入？ （a、b、c、d 因为它是两个具有不同参数的线性函数的组合）
提前致谢！
大小为3X2，隐藏层直接消失，隐藏层线性函数的所有权重折叠为输入层的权重。在您的示例的这种情况下，有 3 次 5（输入到隐藏）即 15 个函数加上，5 次 2（隐藏到输出）即 10 个函数。所以总共有 25 个不同的线性函数。它们是不同的，因为每种情况下的权重不同。所以你描述的f(x)和g(z)是不正确的描述。
隐藏层的折叠可以通过简单地获取一个输入神经元和一个输出神经元，并通过隐藏层将连接这两个神经元的节点上的所有中间函数线性组合来实现。最后，您将剩下 6 个描述您的 3X2 映射的独特函数。
为了您自己的理解，请尝试使用简单的 2X2X1 MLP 在纸上执行此操作，每个节点具有不同的权重。