多层感知器问题
Multilayer Perceptron questions
我正在做一个学校项目,设计一个神经网络 (mlp),
我用 GUI 做了它,所以它可以交互。
对于我所有的神经元,我都使用 SUM 作为 GIN 函数,
用户可以select每一层的激活函数。
我有一个理论问题:
- 我是为每个神经元还是为整个层分别设置阈值、g 和 a - 参数?
看起来不错!你可以有 3 个隐藏层,但通过实验你会发现,你很少需要那么多层。你的训练模式是什么?
您问题的答案取决于您的训练模式和输入神经元的目的。某些输入神经元具有不同类型的值,您可以使用另一个阈值函数或对连接到该输入神经元的神经元中的参数进行不同设置。
但一般来说,最好将神经网络输入馈送到单独的感知器中。所以,答案是:理论上,您 可以 预设神经元的个体属性..但在反向传播学习的实践中,它是不需要的。没有 "individual properties" 个神经元,您的训练周期产生的权重值每次都会不同。所有的初始权重都可以设置在一个小的随机值上,迁移阈值和学习率是每层设置的。
我正在做一个学校项目,设计一个神经网络 (mlp),
我用 GUI 做了它,所以它可以交互。
对于我所有的神经元,我都使用 SUM 作为 GIN 函数, 用户可以select每一层的激活函数。
我有一个理论问题:
- 我是为每个神经元还是为整个层分别设置阈值、g 和 a - 参数?
看起来不错!你可以有 3 个隐藏层,但通过实验你会发现,你很少需要那么多层。你的训练模式是什么?
您问题的答案取决于您的训练模式和输入神经元的目的。某些输入神经元具有不同类型的值,您可以使用另一个阈值函数或对连接到该输入神经元的神经元中的参数进行不同设置。
但一般来说,最好将神经网络输入馈送到单独的感知器中。所以,答案是:理论上,您 可以 预设神经元的个体属性..但在反向传播学习的实践中,它是不需要的。没有 "individual properties" 个神经元,您的训练周期产生的权重值每次都会不同。所有的初始权重都可以设置在一个小的随机值上,迁移阈值和学习率是每层设置的。