成本函数的导数如何给出成本下降最快的方向?
How does the derivative of cost function gives direction of fastest decrease in cost?
我正在学习 Gadient 下降法来寻找函数的最小值。在那里我找到了一行代码,如图所示
m1' = m1 - alpha* d/dm1 j(m0,m1) # m0,m1 are weights, j(m0,m1) is the loss function
据说成本函数的偏导数给出了成本的 "direction of fastest" 减少。有人可以解释/详细说明吗?
获取水平集曲线。从一条水平集曲线到另一条水平集曲线,最短路径是垂直路径,也就是数学上可以证明的那一点导数的方向。这里 m0 和 m1 是图中的两个轴(x,y),水平曲线表示在 z 方向上的 J(m0,m1)中的相同值的切割。有关关卡集的更多信息 https://mathinsight.org/level_sets
在上图中,想象一下,如果你选择导数方向以外的其他方向,那么你会得到一个比最优水平集曲线值更高的水平集曲线(如果你是找到最小值)。或者你可以认为你必须走更长的距离(比最短路径)才能到达我们期望的相同水平集曲线。
我正在学习 Gadient 下降法来寻找函数的最小值。在那里我找到了一行代码,如图所示
m1' = m1 - alpha* d/dm1 j(m0,m1) # m0,m1 are weights, j(m0,m1) is the loss function
据说成本函数的偏导数给出了成本的 "direction of fastest" 减少。有人可以解释/详细说明吗?
获取水平集曲线。从一条水平集曲线到另一条水平集曲线,最短路径是垂直路径,也就是数学上可以证明的那一点导数的方向。这里 m0 和 m1 是图中的两个轴(x,y),水平曲线表示在 z 方向上的 J(m0,m1)中的相同值的切割。有关关卡集的更多信息 https://mathinsight.org/level_sets
在上图中,想象一下,如果你选择导数方向以外的其他方向,那么你会得到一个比最优水平集曲线值更高的水平集曲线(如果你是找到最小值)。或者你可以认为你必须走更长的距离(比最短路径)才能到达我们期望的相同水平集曲线。