PyTorch clip_grad_norm vs clip_grad_norm_，有下划线的区别是什么？

Question

在 torch.nn.utils 中编写 PyTorch 代码时，我看到两个函数，clip_grad_norm 和 clip_grad_norm_。

我想知道区别所以我去查看文档但是当我 searched 我只找到 clip_grad_norm_ 而不是 clip_grad_norm.

所以我来这里问问有没有人知道其中的区别。

Answer 1

Pytorch 使用尾部下划线约定进行 in-place 操作。所以不同之处在于，带下划线的一个修改了张量，另一个不修改原始张量，returns一个新的张量。