从 BERT 模型中提取单词特征
Extracting word features from BERT model
如你所知，我们可以提取句子中单词的 BERT 特征。我的问题是，我们是否也可以提取不包含在句子中的词特征？例如“dog”、“human”等单个词的bert特征
BERT 的第一层是静态嵌入 table，因此您可以将其用作任何其他嵌入 table 以及 BERT 使用输入的词（或更常见的子词）的嵌入第一个 self-attentive 层。静态嵌入只能相互比较，不能与标准的上下文嵌入进行比较。如果需要它们可比较的嵌入，您可以尝试将 single-word 句子传递给 BERT，但请注意，这将是 single-word 句子的嵌入，而不是一般的单词。
但是，BERT 是一个 sentence-level 模型，应该在上下文中嵌入单词。它不是为静态词嵌入设计的，专门为静态词嵌入设计的方法（如FastText）肯定会得到更好的结果。
如你所知，我们可以提取句子中单词的 BERT 特征。我的问题是，我们是否也可以提取不包含在句子中的词特征？例如“dog”、“human”等单个词的bert特征
BERT 的第一层是静态嵌入 table，因此您可以将其用作任何其他嵌入 table 以及 BERT 使用输入的词（或更常见的子词）的嵌入第一个 self-attentive 层。静态嵌入只能相互比较，不能与标准的上下文嵌入进行比较。如果需要它们可比较的嵌入，您可以尝试将 single-word 句子传递给 BERT，但请注意，这将是 single-word 句子的嵌入，而不是一般的单词。
但是，BERT 是一个 sentence-level 模型，应该在上下文中嵌入单词。它不是为静态词嵌入设计的，专门为静态词嵌入设计的方法（如FastText）肯定会得到更好的结果。