mallet 如何为 LDA 设置其默认超参数,即 alpha 和 beta?

How does mallet set its default hyperparameters for LDA i.e. alpha and beta?

我有一个关于 Mallet 主题建模的问题要问。它如何设置 LDA 的默认超参数,即 alpha 和 beta?

alpha 的默认值是 5.0 除以主题数。您可以将其视为主题均匀分布的五个 "pseudo-words" 权重。如果文档很短,我们希望在之前更接近统一。如果文档很长,我们会更有信心摆脱先前的做法。

通过超参数优化,每个主题的 alpha 值可以不同。它们通常会变得比默认设置小。

beta 的默认值为 0.01。这意味着每个主题在统一先验上的权重等于词汇量除以 100。这似乎是一个很好的值。启用优化后,该值的变化很少超过两倍。