填充后如何生成注意掩码?
How to generate an attention mask after padding?
将一个张量 A 在第二和第三维度上填充 [4, 5, 129, 24] 到 [ 4、6, 136, 24] 如何生成它的attention mask?
我想出了两个解决方案:
- 第一个是创建一个零张量A_attention,喜欢A_pad,然后遍历A将1填充到A_attention中的相关位置。
- 第二个是在填充过程中创建注意掩码。不过好像有点麻烦,因为初始张量A有4维。
有什么方法可以在填充后更有效地生成注意力掩码吗?有没有API?
非常感谢。
您可以尝试使用 Hugging Face 的 Transformers 库,它提供了非常有用的 tokenizer。
我建议你通读整个快速入门,但原则上,this is the part你感兴趣。
将一个张量 A 在第二和第三维度上填充 [4, 5, 129, 24] 到 [ 4、6, 136, 24] 如何生成它的attention mask?
我想出了两个解决方案:
- 第一个是创建一个零张量A_attention,喜欢A_pad,然后遍历A将1填充到A_attention中的相关位置。
- 第二个是在填充过程中创建注意掩码。不过好像有点麻烦,因为初始张量A有4维。
有什么方法可以在填充后更有效地生成注意力掩码吗?有没有API?
非常感谢。
您可以尝试使用 Hugging Face 的 Transformers 库,它提供了非常有用的 tokenizer。
我建议你通读整个快速入门,但原则上,this is the part你感兴趣。