为什么不使用具有语言特征的词嵌入(例如 Sense2Vec)?

Why are word embeddings with linguistic features (e.g. Sense2Vec) not used?

鉴于 Sense2Vec 等嵌入系统包含词性等语言特征,为什么这些嵌入没有得到更广泛的使用?

在当今 NLP 的热门工作中,Word2Vec 和 GloVe 是最常用的词嵌入系统。尽管它们只是结合了词的信息,并没有词的语言特征。

例如,在情感分析、文本分类或机器翻译任务中,从逻辑上讲,如果输入也包含语言特征,则可以提高性能。特别是在消除 "duck" 动词和 "duck" 名词等词的歧义时。

这个思路有问题吗?或者还有其他一些实际原因导致这些嵌入没有得到更广泛的使用。

这是一个非常主观的问题。原因之一是 pos-tagger 本身。 Pos-tagger 是一个概率模型,可以添加到整体 error/confusion 中。

例如。假设你有 duck-NPduck-VB 的密集表示,但在 run/inference 期间,你的 pos-tagger 标记 'duck' 作为其他东西,你甚至找不到它。此外,它还有效地减少了您的系统看到单词 duck 的总次数,因此有人可能会争辩说生成的表示会很弱。

最重要的是,sense2vec 解决的主要问题是单词表示的语境化,它已通过 BERTElMo 等语境表示解决,而没有产生任何以上问题。