mallet 如何为 LDA 设置其默认超参数,即 alpha 和 beta?
How does mallet set its default hyperparameters for LDA i.e. alpha and beta?
我有一个关于 Mallet 主题建模的问题要问。它如何设置 LDA 的默认超参数,即 alpha 和 beta?
alpha
的默认值是 5.0 除以主题数。您可以将其视为主题均匀分布的五个 "pseudo-words" 权重。如果文档很短,我们希望在之前更接近统一。如果文档很长,我们会更有信心摆脱先前的做法。
通过超参数优化,每个主题的 alpha
值可以不同。它们通常会变得比默认设置小。
beta
的默认值为 0.01。这意味着每个主题在统一先验上的权重等于词汇量除以 100。这似乎是一个很好的值。启用优化后,该值的变化很少超过两倍。
我有一个关于 Mallet 主题建模的问题要问。它如何设置 LDA 的默认超参数,即 alpha 和 beta?
alpha
的默认值是 5.0 除以主题数。您可以将其视为主题均匀分布的五个 "pseudo-words" 权重。如果文档很短,我们希望在之前更接近统一。如果文档很长,我们会更有信心摆脱先前的做法。
通过超参数优化,每个主题的 alpha
值可以不同。它们通常会变得比默认设置小。
beta
的默认值为 0.01。这意味着每个主题在统一先验上的权重等于词汇量除以 100。这似乎是一个很好的值。启用优化后,该值的变化很少超过两倍。