为什么神经网络不是凸的?
Why aren't neural networks convex?
与线性回归和逻辑回归不同,人工神经网络的成本函数不是凸函数,因此容易受到局部最优的影响。任何人都可以提供关于为什么 ANN 会出现这种情况以及为什么不能修改假设以产生凸函数的直觉吗?
我在这里找到了充分的解释:
https://stats.stackexchange.com/questions/106334/cost-function-of-neural-network-is-non-convex
基本上,由于权重在各层之间是可变的,因此对于任何最小值都有多种解决方案可以达到相同的结果,因此该函数不能是凸函数(也不能是凹函数)。
与线性回归和逻辑回归不同,人工神经网络的成本函数不是凸函数,因此容易受到局部最优的影响。任何人都可以提供关于为什么 ANN 会出现这种情况以及为什么不能修改假设以产生凸函数的直觉吗?
我在这里找到了充分的解释:
https://stats.stackexchange.com/questions/106334/cost-function-of-neural-network-is-non-convex
基本上,由于权重在各层之间是可变的,因此对于任何最小值都有多种解决方案可以达到相同的结果,因此该函数不能是凸函数(也不能是凹函数)。