同时更新 theta0 和 theta1 以计算 python 中的梯度下降

Question

我正在参加 coursera 的机器学习课程。有一个主题叫做梯度下降来优化成本函数。它说同时更新 theta0 和 theta1，这样它将最小化成本函数并达到全局最小值。

梯度下降的公式为

如何使用 python 以编程方式执行此操作？我正在使用 numpy 数组和 pandas 从头开始逐步理解其逻辑。

目前我只计算了成本函数

# step 1 - collect our data
data = pd.read_csv("datasets.txt", header=None)

def compute_cost_function(x, y, theta):
    '''
        Taking in a numpy array x, y, theta and generate the cost function
    '''
    m = len(y)
    # formula for prediction = theta0 + theta1.x
    predictions = x.dot(theta)
    # formula for square error = ((theta1.x + theta0) - y)**2
    square_error = (predictions - y)**2
    # sum of square error function
    return 1/(2*m) * np.sum(square_error)

# converts into numpy represetation of the pandas dataframe. The axes labels will be excluded
numpy_data = data.values
m = data[0].size
x = np.append(np.ones((m, 1)), numpy_data[:, 0].reshape(m, 1), axis=1)
y = numpy_data[:, 1].reshape(m, 1)
theta = np.zeros((2, 1))

compute_cost_function(x, y, theta)

def gradient_descent(x, y, theta, alpha):
    '''
        simultaneously update theta0 and theta1 where 
        theta0 = theta0 - apha * 1/m * (sum of square error)
    '''
    pass

我知道我必须从梯度下降中调用 compute_cost_function 但无法应用该公式。

Answer 1

这意味着您使用参数的先前值并在右侧计算您需要的值。完成后，更新参数。为了最清楚地做到这一点，在您的函数中创建一个临时数组，将结果存储在右侧，并在您完成后 return 计算结果。

def gradient_descent(x, y, theta, alpha):
    ''' simultaneously update theta0 and theta1 where
        theta0 = theta0 - apha * 1/m * (sum of square error) ''' 
    theta_return = np.zeros((2, 1))
    theta_return[0] = theta[0] - (alpha / m) * ((x.dot(theta) - y).sum())
    theta_return[1] = theta[1] - (alpha / m) * (((x.dot(theta) - y)*x[:, 1][:, None]).sum())

    return theta_return

我们首先声明临时数组，然后分别计算参数的每个部分，即截距和斜率，然后 return 我们需要什么。上面代码的好处是我们正在对其进行矢量化处理。对于截距项，x.dot(theta) 在数据矩阵 x 和参数向量 theta 处执行矩阵向量乘法。通过用输出值 y 减去这个结果，我们计算预测值和真实值之间所有误差的总和，然后乘以学习率，然后除以样本数。我们对斜率项做了类似的事情，只是我们在没有偏置项的情况下另外乘以每个输入值。我们还需要确保输入值在列中，因为沿着 x 的第二列进行切片会产生一维 NumPy 数组，而不是具有单列的二维数组。这允许元素乘法一起很好地发挥作用。

还有一点需要注意的是，更新参数时根本不需要计算成本。请注意，在您的优化循环中，最好在更新参数时调用它，这样您就可以看到参数从数据中学习的效果如何。

要使其真正矢量化并利用同步更新，您可以将其表述为仅在训练示例上的矩阵向量乘法：

def gradient_descent(x, y, theta, alpha):
    ''' simultaneously update theta0 and theta1 where
        theta0 = theta0 - apha * 1/m * (sum of square error) ''' 
    return theta - (alpha / m) * x.T.dot(x.dot(theta) - y)

它的作用是，当我们计算 x.dot(theta) 时，它会计算预测值，然后我们通过减去预期值来组合它。这会产生误差向量。当我们预乘 x 的转置时，最终发生的是我们采用误差向量并执行矢量化求和，使得转置矩阵 x 的第一行对应于值 1这意味着我们只是简单地总结所有误差项，这为我们提供了偏差或截距项的更新。类似地，转置矩阵 x 的第二行通过 x 中相应的样本值（没有偏差项 1）另外对每个误差项进行加权，并以此方式计算总和。结果是一个 2 x 1 向量，当我们减去参数的先前值并按学习率和样本数加权时，它会为我们提供最终更新。

我没有意识到您将代码放在迭代框架中。在这种情况下，您需要在每次迭代时更新参数。

def gradient_descent(x, y, theta, alpha, iterations):

    ''' simultaneously update theta0 and theta1 where
    theta0 = theta0 - apha * 1/m * (sum of square error) ''' 

    theta_return = np.zeros((2, 1))
    for i in range(iterations):
        theta_return[0] = theta[0] - (alpha / m) * ((x.dot(theta) - y).sum())
        theta_return[1] = theta[1] - (alpha / m) * (((x.dot(theta) - y)*x[:, 1][:, None]).sum())
        theta = theta_return

    return theta

theta = gradient_descent(x, y, theta, 0.01, 1000)

在每次迭代中，您更新参数然后正确设置它，以便下一次，当前更新成为以前的更新。

同时更新 theta0 和 theta1 以计算 python 中的梯度下降

simultaneously update theta0 and theta1 to calculate gradient descent in python

python

numpy

machine-learning

linear-regression

gradient-descent