填充后如何生成注意掩码?

How to generate an attention mask after padding?

将一个张量 A 在第二和第三维度上填充 [4, 5, 129, 24] 到 [ 4、6, 136, 24] 如何生成它的attention mask?

我想出了两个解决方案:

有什么方法可以在填充后更有效地生成注意力掩码吗?有没有API?

非常感谢。

您可以尝试使用 Hugging Face 的 Transformers 库,它提供了非常有用的 tokenizer

我建议你通读整个快速入门,但原则上,this is the part你感兴趣。