较深层的神经元如何能够做出比 shallower/earlier 层中的神经元更复杂的决策?
How are neurons in deeper layers capable of making more complex decisions than neurons in shallower/earlier layers?
我是 ML 的新手,正在 http://neuralnetworksanddeeplearning.com 阅读在线图书。
在 first chapter 中,作者使用奶酪节示例描述了单个感知器。基本上,他举例说明了感知器试图决定是否在即将到来的周末去参加奶酪节。感知器有 3 个输入(天气因素、社会因素和交通因素)。虽然我 100% 完全理解作者的 "Cheese Festival" 示例 单个感知器 ,但我不理解他得出的下一个(看似不合逻辑的)结论,他在哪里将示例演化为包含组织成 2 层的多个感知器:
"What about the perceptrons in the second layer? Each of those perceptrons is making a decision by weighing up the results from the first layer of decision-making. In this way a perceptron in the second layer can make a decision at a more complex and more abstract level than perceptrons in the first layer....In this way, a many-layer network of perceptrons can engage in sophisticated decision making."
我不明白的是:为什么第二层的感知器比第一层的感知器"make a decision at a more complex and more abstract level"?
谁能提供一个例子,也许使用作者已经开始的奶酪节例子?第 2 层中的感知器可以做出更多 complex/abstract 决策的示例是什么?
例子
图的顶部(上图)显示了作者奶酪节示例背后的决策感知器。孤独的感知器接受 3 inputs/factors:天气、社会和交通因素。由这些决定calculates/determines到底该不该去奶酪节
上图的底部(即水平线下方)完美地说明了我的精神障碍所在。在这里,我们在第 1 层中有 3 个神经元馈送到单个第 2 层节点:
- A "Should I go to the Cheese Festival"节点:这是与图上半部分相同的节点;和
- A "Should I go to the Milk Festival"节点:图中省略simplicity/brevity
- A "Should I go to the Bacon Festival"节点:simplicity/brevity
也省略了
这 3 个感知器的输出(Yes/No 个决策)作为输入馈送到单独的第 2 层节点。 这里给出我的示例,第 2 层节点决策的示例是什么,它说明了 "feature hierarchy" and/or 作者关于深层可以做出更多 complex/abstract 决策的声明?
多层网络的基本思想是每一层都增加一些抽象。第 2 层本身具有与第 1 层相同的结构,因此它不能真正自行做出更复杂的决策。但它可以建立在创建第一层的抽象(输出)之上。
我想补充一点,这个说法有点理想化了。在实践中,通常很难理解内层到底做了什么。
在你的例子中,第2层节点做出的决定可能是"Should I go to a festival?"
深层网络之间存在层的可视化。
http://blog.keras.io/how-convolutional-neural-networks-see-the-world.html
简而言之,每个新层都可以通过寻找前一层的图案来识别更复杂的图案,最后一层有许多所需的形状 类(蚂蚁、花朵、汽车等)。
示例:
- 第一层检测边缘、纹理 - 您可以使用 photoshop 滤镜进行的操作
- second 可以检测基于边缘(正方形、圆形、直线等)的简单形状和更复杂的纹理。
- 基于步骤 2 中形状的更复杂图形
- 检测最接近目标的形状类
这也解释了为什么使用相关模型(VGG16/18、AlexNet 等)和切换顶层是有意义的。而不是花费数周时间训练完整的网络。
我是 ML 的新手,正在 http://neuralnetworksanddeeplearning.com 阅读在线图书。
在 first chapter 中,作者使用奶酪节示例描述了单个感知器。基本上,他举例说明了感知器试图决定是否在即将到来的周末去参加奶酪节。感知器有 3 个输入(天气因素、社会因素和交通因素)。虽然我 100% 完全理解作者的 "Cheese Festival" 示例 单个感知器 ,但我不理解他得出的下一个(看似不合逻辑的)结论,他在哪里将示例演化为包含组织成 2 层的多个感知器:
"What about the perceptrons in the second layer? Each of those perceptrons is making a decision by weighing up the results from the first layer of decision-making. In this way a perceptron in the second layer can make a decision at a more complex and more abstract level than perceptrons in the first layer....In this way, a many-layer network of perceptrons can engage in sophisticated decision making."
我不明白的是:为什么第二层的感知器比第一层的感知器"make a decision at a more complex and more abstract level"?
谁能提供一个例子,也许使用作者已经开始的奶酪节例子?第 2 层中的感知器可以做出更多 complex/abstract 决策的示例是什么?
例子
图的顶部(上图)显示了作者奶酪节示例背后的决策感知器。孤独的感知器接受 3 inputs/factors:天气、社会和交通因素。由这些决定calculates/determines到底该不该去奶酪节
上图的底部(即水平线下方)完美地说明了我的精神障碍所在。在这里,我们在第 1 层中有 3 个神经元馈送到单个第 2 层节点:
- A "Should I go to the Cheese Festival"节点:这是与图上半部分相同的节点;和
- A "Should I go to the Milk Festival"节点:图中省略simplicity/brevity
- A "Should I go to the Bacon Festival"节点:simplicity/brevity 也省略了
这 3 个感知器的输出(Yes/No 个决策)作为输入馈送到单独的第 2 层节点。 这里给出我的示例,第 2 层节点决策的示例是什么,它说明了 "feature hierarchy" and/or 作者关于深层可以做出更多 complex/abstract 决策的声明?
多层网络的基本思想是每一层都增加一些抽象。第 2 层本身具有与第 1 层相同的结构,因此它不能真正自行做出更复杂的决策。但它可以建立在创建第一层的抽象(输出)之上。
我想补充一点,这个说法有点理想化了。在实践中,通常很难理解内层到底做了什么。
在你的例子中,第2层节点做出的决定可能是"Should I go to a festival?"
深层网络之间存在层的可视化。 http://blog.keras.io/how-convolutional-neural-networks-see-the-world.html
简而言之,每个新层都可以通过寻找前一层的图案来识别更复杂的图案,最后一层有许多所需的形状 类(蚂蚁、花朵、汽车等)。 示例:
- 第一层检测边缘、纹理 - 您可以使用 photoshop 滤镜进行的操作
- second 可以检测基于边缘(正方形、圆形、直线等)的简单形状和更复杂的纹理。
- 基于步骤 2 中形状的更复杂图形
- 检测最接近目标的形状类
这也解释了为什么使用相关模型(VGG16/18、AlexNet 等)和切换顶层是有意义的。而不是花费数周时间训练完整的网络。