gensim 词嵌入(Word2Vec 和 FastText)模型中的 alpha 值?

Value of alpha in gensim word-embedding (Word2Vec and FastText) models?

我只想知道alpha值在gensim word2vecfasttext词嵌入模型中的作用?我知道 alpha 是 initial learning rate,它的默认值是 0.075 来自 Radim 博客。

如果我将其更改为更高的值,即 0.5 或 0.75,会怎样?它的作用是什么?是否允许更改相同的内容?但是,我已将其更改为 0.5 并在 D = 200、window = 15、min_count = 5、iter = 10、workers = 4 的大型数据上进行实验,结果非常有意义对于 word2vec 模型。然而,使用 fasttext 模型,结果有点分散,意味着相关性较低且不可预测的高低相似度分数。

为什么使用两个精度不同的流行模型对相同的数据得出不精确的结果? alpha 的值在模型构建过程中起着如此重要的作用吗?

欢迎任何建议。

在 gensim 的 Word2Vec 实现中,默认起始 alpha0.025

在用于调整模型的随机梯度下降算法中,有效alpha影响在评估每个训练示例后对模型进行校正的强度,并将从其起始值线性衰减( alpha) 到一个很小的最终值 (min_alpha) 在所有训练过程中。

大多数用户不需要调整这些参数,或者可能只需要稍微调整它们,因为他们有可靠的可重复方法来评估更改是否改进了他们最终任务的模型。 (我见过 0.05 或不太常见的 0.1 的起始值,但从未像您报告的 0.5 那样高。)