Set Transformer 和 Standard Transformer 模型的区别?

Difference in Set Transformer and Standard Transformer Model?

set transformer 的优点是能够处理可变大小的输入。然而,我认为普通的变压器也能做同样的事情。这两种模型有何区别?为什么要使用其中一种?

set transformer不需要位置编码吗?它是否更加模块化并且更容易选择您要使用的部分?

此处供参考的是设置变压器的论文和代码

https://arxiv.org/pdf/1810.00825v3.pdf

https://github.com/arrigonialberto86/set_transformer

转换器是一种适用于元素集的模型。它的传统用途是单词序列,这需要为每个元素添加一个位置嵌入,使模型不是 permutation-invariant。默认情况下(不添加此位置嵌入),转换器是 permutation-invariant.

Transformer 是一种模型架构,由 N 个注意力块组成,然后是 element-wise MLP(通常具有残差连接)。由于其 permutation-invariant 属性,这适用于集合。序列唯一不同的是,您需要注入有关元素位置的信息,方法是在输入处向标记添加位置嵌入(使其成为非 permutation-invariant)。 所以是的,你可以(你可以说模型是一样的,只是预处理步骤不同)。