在 Scikit-learn 的 LDA 实现中,"perplexity"(或 "score")应该上升还是下降?

Should the "perplexity" (or "score") go up or down in the LDA implementation of Scikit-learn?

我想知道在 Scikit-learn 的 LDA 实现中,perplexity 和 score 是什么意思。那些功能是晦涩难懂的。

至少,我需要知道当模型更好时这些值是增加还是减少。我已经搜索过,但不知何故不清楚。我觉得困惑度应该下降,但我想要一个关于这些值应该如何上升或下降的明确答案。

困惑度 是模型预测样本的好坏程度的度量。

根据 Blei、Ng 和 Jordan 的 Latent Dirichlet Allocation

[W]e computed the perplexity of a held-out test set to evaluate the models. The perplexity, used by convention in language modeling, is monotonically decreasing in the likelihood of the test data, and is algebraicly equivalent to the inverse of the geometric mean per-word likelihood. A lower perplexity score indicates better generalization performance.

这可以从论文中的下图看出:

本质上,由于 perplexity 相当于几何平均数的倒数,lower perplexity 意味着数据是 更多 可能。因此,随着主题数量的增加,模型的 perplexity 应该会降低。