在pytorch中获取向量化函数的梯度

Question

我是 PyTorch 的新手，想做一些我认为很简单但遇到很多困难的事情。

我有函数 sin(x) * cos(x) + x^2，我想在任何时候得到该函数的导数。

如果我用一个点来做，它就可以完美地工作

x = torch.autograd.Variable(torch.Tensor([4]),requires_grad=True)
y = torch.sin(x)*torch.cos(x)+torch.pow(x,2)
y.backward()
print(x.grad) # outputs tensor([7.8545])

但是，我希望能够将向量作为 x 传递，并让它按元素计算导数。例如：

Input: [4., 4., 4.,]
Output: tensor([7.8545, 7.8545, 7.8545])

但我似乎无法正常工作。

我试着简单地做

x = torch.tensor([4., 4., 4., 4.], requires_grad=True)
out = torch.sin(x)*torch.cos(x)+x.pow(2)
out.backward()
print(x.grad)

但是我收到错误 "RuntimeError: grad can be implicitly created only for scalar outputs"

如何为矢量调整此代码？

提前致谢，

Answer 1

Here 你可以找到关于你的错误的相关讨论。

本质上，当您调用不带参数的 backward() 时，它会隐式转换为 backward(torch.Tensor([1]))，其中 torch.Tensor([1]) 是计算梯度的输出值。

如果您传递 4（或更多）输入，每个输入都需要一个值，您可以根据该值计算梯度。您可以像这样将 torch.ones_like 显式传递给 backward：

import torch

x = torch.tensor([4.0, 2.0, 1.5, 0.5], requires_grad=True)
out = torch.sin(x) * torch.cos(x) + x.pow(2)
# Pass tensor of ones, each for each item in x
out.backward(torch.ones_like(x))
print(x.grad)

在pytorch中获取向量化函数的梯度

Getting gradient of vectorized function in pytorch

python

derivative

autodiff

pytorch