反向传播和前馈神经网络有什么区别?

What is the difference between back-propagation and feed-forward Neural Network?

反向传播和前馈神经网络有什么区别?

通过google和阅读,我发现在前馈中只有向前的方向,但是在反向传播中我们需要做一次前向传播然后反向传播。我提到了 this link

  1. 除了流向之外,还有其他区别吗?重量计算呢?结果?
  2. 假设我正在实施反向传播,即它包含前向和后向流。那么反向传播是否足以显示前馈?

没有纯反向传播或纯前馈神经网络。

反向传播是训练(调整权重)神经网络的算法。 反向传播的输入是 output_vector, target_output_vector, 输出是 adjusted_weight_vector.

前馈是一种从输入向量计算输出向量的算法。 前馈的输入是 input_vector, 输出是 output_vector.

训练神经网络时,需要同时使用这两种算法。

当您使用神经网络(已训练)时,您只使用前馈。

神经网络的基本类型是多层感知器,即Feed-forward backpropagation神经网络。

还有更高级的神经网络类型,使用改进的算法。

也是学习的好来源:ftp://ftp.sas.com/pub/neural/FAQ.html 最好理解原理就是编程吧(这个视频有教程)https://www.youtube.com/watch?v=KkwX7FkLfug

  • A Feed-Forward Neural Network 是一种神经网络 架构 ,其中的连接是 "fed forward",即不形成循环(例如在循环网络中)。

  • 术语 "Feed forward" 也用于当您在输入层输入内容并且它 从输入到隐藏以及从隐藏到输出行进 层。
    值为"fed forward"

短语 "feed forward" 的这两种用法都与训练本身无关。

  • 反向传播是一种训练算法,由 2 个步骤组成:1) 前馈 值 2) 计算误差和 将其传回到较早的层。所以准确地说,前向传播是反向传播算法的一部分,但在反向传播之前。

神经网络可以有不同的架构。他们的神经元之间的连接决定了信息流的方向。根据网络连接,它们被分类为 - 前馈和循环(反向传播)。

前馈神经网络

在这些类型的神经网络中,信息仅沿一个方向流动,即从输入层到输出层。权重一旦确定,通常不会更改。要么明确决定权重,要么使用像径向基函数这样的函数来决定权重。这里的节点在不知道产生的结果是否准确的情况下完成它们的工作(即它们不会根据产生的结果重新调整)。前面的层没有返回通信。

递归神经网络(反向传播)

信息从输入层传递到输出层以产生结果。结果中的错误现在会传回之前的层。节点知道他们在答案错误中的贡献有多大。权重重新调整。神经网络得到改进。它学习。存在双向信息流。这基本上实现了两种算法,前馈和反向传播。

简单来说:

前馈是一种架构。相反的是循环神经网络。

反向传播(BP)是一种求解方法。 BP 可以解决前馈和递归神经网络。