使用 torch.autograd.grad 计算矩阵导数 (PyTorch)

Question

我正在尝试使用 torch.autograd.grad 在 PyTorch 中计算矩阵导数，但是我运行遇到了一些问题。这是重现错误的最小工作示例。

theta = torch.tensor(np.random.uniform(low=-np.pi, high=np.pi), requires_grad=True)
rot_mat = torch.tensor([[torch.cos(theta), torch.sin(theta), 0], 
                        [-torch.sin(theta), torch.cos(theta), 0]], 
                        dtype=torch.float, requires_grad=True)
torch.autograd.grad(outputs=rot_mat, 
                    inputs=theta, grad_outputs=torch.ones_like(rot_mat), 
                    create_graph=True, retain_graph=True)

此代码导致错误“其中一个微分张量似乎未在图中使用。如果这是所需的行为，请设置 allow_unused=True。”

我尝试使用 allow_unused=True，但梯度返回为 None。我不确定是什么导致图表在这里断开连接。

Answer 1

只有使用pytorch函数才会创建Pytorch autograd图。

我认为 python 创建时使用的 2d 列表 rot_mat 断开了图形。所以使用 torch 函数创建旋转矩阵，也只使用 backward() 函数来计算梯度。这是示例代码：

import torch
import numpy as np

theta   = torch.tensor(np.random.uniform(low=-np.pi, high=np.pi), requires_grad=True)

# create required values and convert it to torch 1d tensor
cos_t   = torch.cos(theta).view(1)
sin_t   = torch.sin(theta).view(1)
msin_t  = -sin_t
zero    = torch.zeros(1)

# create rotation matrix using only pytorch functions
rot_1d  = torch.cat((cos_t, sin_t, zero, msin_t, cos_t, zero))
rot_mat = rot_1d.view((2, 3)) 

# Autograd
rot_mat.backward(torch.ones_like(rot_mat))

# gradient
print(theta.grad)

使用 torch.autograd.grad 计算矩阵导数 (PyTorch)

Computing matrix derivatives with torch.autograd.grad (PyTorch)

pytorch

autograd

只有使用pytorch函数才会创建Pytorch autograd图。