MultiHeadAttention 中查询和关键张量的维度
Dimension of Query and Key Tensor in MultiHeadAttention
我对 Keras 文档 https://keras.io/api/layers/attention_layers/multi_head_attention/
中 MultiHeadAttention 层文档中提到的查询和关键张量的维度感到困惑
query: Query Tensor of shape (B, T, dim)
value: Value Tensor of shape (B, S, dim).
这里我假设 T 和 S 对应于模型中输入的单词序列应该相同那么为什么它们不相等？
当查询和键值对具有不同的序列输入维度时，这很有用。
这种情况可能出现在 Decoder 中的第二个 MultiHeadAttention() 注意力层的情况下。这将是不同的，因为 K(key) 和 V(value) 到该层的输入将来自 Encoder() 而 Q(query) 将来自第一个 MultiHeadAttention() 层Decoder。
我对 Keras 文档 https://keras.io/api/layers/attention_layers/multi_head_attention/
中MultiHeadAttention 层文档中提到的查询和关键张量的维度感到困惑
query: Query Tensor of shape (B, T, dim)
value: Value Tensor of shape (B, S, dim).
这里我假设 T 和 S 对应于模型中输入的单词序列应该相同那么为什么它们不相等？
当查询和键值对具有不同的序列输入维度时，这很有用。
这种情况可能出现在 Decoder 中的第二个 MultiHeadAttention() 注意力层的情况下。这将是不同的，因为 K(key) 和 V(value) 到该层的输入将来自 Encoder() 而 Q(query) 将来自第一个 MultiHeadAttention() 层Decoder。