词汇量不足时的 Gensim word2vec 评分函数
Gensim word2vec score function when out-of-vocabulary
Word2Vec 无法处理词汇外的单词(returns 错误)。但是,当我尝试评分功能时 https://radimrehurek.com/gensim/models/word2vec.html#gensim.models.word2vec.Word2Vec.score
对于包含 OOV 词的句子,令人惊讶的是,我没有收到错误。为什么会这样?
谢谢!
score()
函数是一个类似训练的函数,就像 train()
本身一样,只是忽略未知单词,就好像它们不存在一样。 (考虑这样的决定是否正确'scoring'是附近source-code-comment的主题。)
请注意,这些 score()
函数是 Word2Vec
的非标准扩展,不久前作为相关文档中提到的研究论文的一部分。它们是出于任何目的工作,还是仍按最新版本的 Gensim 中的最初预期工作,尚不清楚或不确定。它们将来可能不会被维护(甚至现在也不适用于通常的默认负采样 Word2Vec
模型)。
因此,您可能不想依赖它们,应该研究它们的原始来源以获取有关其功能的信息。
Word2Vec 无法处理词汇外的单词(returns 错误)。但是,当我尝试评分功能时 https://radimrehurek.com/gensim/models/word2vec.html#gensim.models.word2vec.Word2Vec.score 对于包含 OOV 词的句子,令人惊讶的是,我没有收到错误。为什么会这样? 谢谢!
score()
函数是一个类似训练的函数,就像 train()
本身一样,只是忽略未知单词,就好像它们不存在一样。 (考虑这样的决定是否正确'scoring'是附近source-code-comment的主题。)
请注意,这些 score()
函数是 Word2Vec
的非标准扩展,不久前作为相关文档中提到的研究论文的一部分。它们是出于任何目的工作,还是仍按最新版本的 Gensim 中的最初预期工作,尚不清楚或不确定。它们将来可能不会被维护(甚至现在也不适用于通常的默认负采样 Word2Vec
模型)。
因此,您可能不想依赖它们,应该研究它们的原始来源以获取有关其功能的信息。