pytorch 如何计算简单线性回归模型的梯度？

Question

我正在使用 pytorch 并试图了解简单线性回归模型的工作原理。

我正在使用简单的 LinearRegressionModel class:

class LinearRegressionModel(nn.Module):
    def __init__(self, input_dim, output_dim):
        super(LinearRegressionModel, self).__init__()
        self.linear = nn.Linear(input_dim, output_dim)  

    def forward(self, x):
        out = self.linear(x)
        return out

model = LinearRegressionModel(1, 1)

接下来我实例化一个损失准则和一个优化器

criterion = nn.MSELoss()

optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

最后我使用以下代码训练模型：

for epoch in range(epochs):
    if torch.cuda.is_available():
        inputs = Variable(torch.from_numpy(x_train).cuda())

    if torch.cuda.is_available():
        labels = Variable(torch.from_numpy(y_train).cuda())

    # Clear gradients w.r.t. parameters
    optimizer.zero_grad() 

    # Forward to get output
    outputs = model(inputs)

    # Calculate Loss
    loss = criterion(outputs, labels)

    # Getting gradients w.r.t. parameters
    loss.backward()

    # Updating parameters
    optimizer.step()

我的问题是优化器如何获得由loss.backward()计算的损失梯度，以使用step()方法更新参数？模型、损失准则和优化器是如何联系在一起的？

Answer 1

loss.backward()

计算梯度并将它们存储在参数中。你在这里传递需要调整的参数：

optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

Answer 2

PyTorch 有这个张量和变量的概念。当您使用 nn.Linear 时，该函数会创建 2 个变量，即 W 和 b.In pytorch，一个变量是一个包装器，它封装了一个张量、它的梯度和关于它的创建函数的信息。您可以通过

直接访问渐变

w.grad

如果您在调用 loss.backward() 之前尝试它，您会得到 None。一旦你调用 loss.backward() 它将包含现在的渐变。现在您可以通过以下简单步骤手动更新这些渐变。

w.data -= learning_rate * w.grad.data

当您拥有复杂的网络时，上述简单步骤可能会变得复杂。所以像 SGD 这样的优化器，Adam 会处理这个问题。当您为这些优化器创建对象时，我们会传入模型的参数。 nn.Module 包含此 parameters() 函数，它将 return 优化器的所有可学习参数。这可以使用以下步骤完成。

optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

pytorch 如何计算简单线性回归模型的梯度？

How does pytorch compute the gradients for a simple linear regression model?

python

gradient

regression

neural-network

pytorch