词汇量不足时的 Gensim word2vec 评分函数

Gensim word2vec score function when out-of-vocabulary

Word2Vec 无法处理词汇外的单词(returns 错误)。但是,当我尝试评分功能时 https://radimrehurek.com/gensim/models/word2vec.html#gensim.models.word2vec.Word2Vec.score 对于包含 OOV 词的句子,令人惊讶的是,我没有收到错误。为什么会这样? 谢谢!

score() 函数是一个类似训练的函数,就像 train() 本身一样,只是忽略未知单词,就好像它们不存在一样。 (考虑这样的决定是否正确'scoring'是附近source-code-comment的主题。)

请注意,这些 score() 函数是 Word2Vec 的非标准扩展,不久前作为相关文档中提到的研究论文的一部分。它们是出于任何目的工作,还是仍按最新版本的 Gensim 中的最初预期工作,尚不清楚或不确定。它们将来可能不会被维护(甚至现在也不适用于通常的默认负采样 Word2Vec 模型)。

因此,您可能不想依赖它们,应该研究它们的原始来源以获取有关其功能的信息。