词向量本身有什么意义吗?

Do word vectors mean anything on their own?

据我了解,词向量仅用于与其他词向量的关系。例如,"king" 的词向量减去 "boy" 的词向量应该得到接近 "queen" 的向量。

给定一些未知词的向量,是否可以仅根据该向量的值对该词做出假设?

单个坐标(例如 300 维向量的第 7 维等)没有易于解释的含义。

主要是相对距离与其他词(邻域)的相对距离,以及相对于其他词群的相对方向(方向无关于垂直坐标轴,这可能是模糊解释的,因为它们与自然语言或自然思维语义相关。

此外,模型的训练前初始化以及大部分训练本身都使用了随机化。因此,即使在完全相同的数据上,单词在重复训练 运行 时也可能会出现在不同的坐标中。

在距离和方向方面,每个 运行 之后生成的词向量应该 彼此 一样有用,但是像 "words describing seasons" 或 "things that are 'hot'" 在随后的 运行 中可能位于非常不同的位置。只有一起训练的向量才具有可比性。

(有一些 word2vec 的约束变体试图强制某些维度或方向对某些目的更有用,例如回答问题或检测 hypernym/hyponym 关系——但这需要额外的约束或输入培训过程。普通的 word2vec 不会那么清晰地解释。)

你不能根据单词向量的值对单词做出假设。单个词向量本身不携带信息或意义,而仅包含与其他词向量相关的意义。

使用 Word2Vec 和 GloVe 等算法计算词向量,并依赖于序列中词的 co-occurrence。例如,Word2Vec 使用两个向量的点积作为 softmax 函数的输入,该函数近似于这两个词出现在同一序列中的条件概率。然后确定词向量,以便将在相同上下文中频繁出现的词映射到相似的向量。词向量从而捕获句法和语义信息。