是否有反向传播的替代方案？
Are there alternatives to backpropagation?
我知道可以使用梯度下降训练神经网络并且我了解它的工作原理。
最近，我偶然发现了其他训练算法：共轭梯度和拟牛顿算法。
我试图了解它们是如何工作的，但我能得到的唯一好的直觉是它们使用高阶导数。
我的问题如下：我提到的那些替代算法是否与通过使用损失函数的梯度调整权重的反向传播过程有根本的不同？
如果没有，是否有一种算法可以训练与反向传播机制根本不同的神经网络？
谢谢
共轭梯度和拟牛顿算法仍然是梯度下降算法。反向传播（或反向传播）是 nothing more than a fancy name 梯度计算。
然而，最初的反向传播替代方案问题非常重要。例如，最近的替代方案之一是 equilibrium propagation（或简称 eqprop）。
Neuroevolution of augmenting topologies 或 NEAT 是使用遗传算法学习网络拓扑和 weights/biases 的另一种方法。
我知道可以使用梯度下降训练神经网络并且我了解它的工作原理。
最近，我偶然发现了其他训练算法：共轭梯度和拟牛顿算法。 我试图了解它们是如何工作的，但我能得到的唯一好的直觉是它们使用高阶导数。
我的问题如下：我提到的那些替代算法是否与通过使用损失函数的梯度调整权重的反向传播过程有根本的不同？ 如果没有，是否有一种算法可以训练与反向传播机制根本不同的神经网络？
谢谢
共轭梯度和拟牛顿算法仍然是梯度下降算法。反向传播（或反向传播）是 nothing more than a fancy name 梯度计算。
然而，最初的反向传播替代方案问题非常重要。例如，最近的替代方案之一是 equilibrium propagation（或简称 eqprop）。
Neuroevolution of augmenting topologies 或 NEAT 是使用遗传算法学习网络拓扑和 weights/biases 的另一种方法。