Python 中梯度下降算法的等值线图

Question

我正在尝试将梯度下降应用于简单的线性回归模型，在绘制二维图形时我得到了预期的结果但是当我切换到等高线图时我没有预期的图，我想知道我错在哪里了。

代码如下：

def J(b_0, b_1, x, y):
  return (1/len(y))*(y - b_0 - b_1*x)**2

def dJ_1(b_0, b_1, x, y):
  return (2/len(y))*np.sum(x*(b_1*x + b_0 - y))

def dJ_0(b_0, b_1, x, y):
  return (2/100)*np.sum((b_1*x + b_0 - y))

x = np.linspace(-1, 1, 100)
y = np.linspace(-2, 2, 100)

b_0 = 5
b_1 = 5
parameters_0 = [b_0]
parameters_1 = [b_1]
for i in range(99):
  b_1 -= 0.1*dJ_1(b_0, b_1, x, y)
  b_0 -= 0.1*dJ_0(b_0, b_1, x, y)
  parameters_0.append(b_0)
  parameters_1.append(b_1)

plt.figure(figsize=(4, 8))
plt.plot(np.linspace(-2, 7, 100), J(np.linspace(-2, 7, 100), parameters_1[-1], -1, -2))
plt.plot(np.array(parameters_0), J(np.array(parameters_0), parameters_1[-1], -1, -2), color="C1")
plt.plot(np.array(parameters_0), J(np.array(parameters_0), parameters_1[-1], -1, -2), '-o', color="C1")
plt.xlabel(r"$\beta_0$")
plt.ylabel(r"$J(\beta_0)$")
plt.show()

第一个剧情：

plt.figure(figsize=(4, 8))
plt.plot(np.linspace(-4, 7, 100), J(parameters_0[-1], np.linspace(-4, 7, 100), -1, -2))
plt.plot(np.array(parameters_1), J(parameters_0[-1], np.array(parameters_1), -1, -2), color="C1")
plt.plot(np.array(parameters_1), J(parameters_0[-1], np.array(parameters_1), -1, -2), '-o', color="C1")
plt.xlabel(r"$\beta_1$")
plt.ylabel(r"$J(\beta_1)$")
plt.show()

第二个剧情：

b_0 = np.linspace(-10, 10, 100)
b_1 = np.linspace(-10, 10, 100)
X, Y = np.meshgrid(b_0, b_1)
Z = J(X, Y, x=-1, y=-2)
fig,ax=plt.subplots(1,1)
cp = ax.contourf(X, Y, Z)
fig.colorbar(cp) 
ax.set_xlabel(r"$\beta_0$")
ax.set_ylabel(r"$\beta_1$")
plt.show()

等高线图为：

为什么我得到上面的图而不是下面类似的图，例如当成本函数的全局最小值在 (0, 2) 时？提前致谢。

Answer 1

好吧，我认为那里没有错，你可以从二维图中看出你的梯度下降图是一个二次函数，因此你从轮廓上看到它的方式就好像你从天空看到它一样谷。至于为什么它看起来不像一个圆，那是因为它只是一个 3d 二次函数。我也做过类似的东西，梯度下降图和你画的一样。在页尾查看here

Python 中梯度下降算法的等值线图

Contour Plot of the Gradient Descent Algorithm in Python

python

matplotlib

machine-learning

gradient-descent