transpose on PyTorch : IndexError: Dimension out of range (expected to be in range of [-2, 1], but got 2)

Question

我想使用transpose转置我的数据，但是我遇到了这样的错误。我的数据和相关过程上传到github.

https://github.com/nurkbts/error/blob/main/error.ipynb

Answer 1

使用torch.bmm（批量矩阵乘法）时，两个张量都必须具有三个维度（第一个是批量）。详情请阅读文档。

由于您尝试使用 bmm，您应该只使用 @ 运算符（相当于应用 torch.matmul）。另外，不要忘记转置。这会给你一个形状 (64, 64).

_scores = queries@keys.T / np.sqrt(64)