如何在训练模型上获得新的未见文档的边界值或困惑值？

Question

我想使用 LDA 在我的数据集中查找异常值。为了指定异常值，对于这种情况，我打算在训练模型上使用新的未见文档的边界值或困惑值？之后，我将按升序对值进行排序，以检查它是否是离群值？我的问题是我无法获得单个文档的 bound/perplex 值，该模型向我抛出 "TypeError: 'int' object is not subscriptable" 错误。

如果你帮我解决我的案子，我将不胜感激？

以防万一，我附上了我的代码：

tokenized_corpora = dictionary.doc2bow(_acc[2])
total_number_of_words_tokenized_corpora = len(tokenized_corpora)
bound_corpora = ldaModel.bound(tokenized_corpora)
per_word_perplex_corpora = np.exp2(-bound_corpora / 
total_number_of_words_tokenized_corpora)

提前致谢。

Answer 1

根据我的研究，为了获得单个文档的日志困惑度，可以使用以下命令：

ldaModel.log_perplexity([bow])

如何在训练模型上获得新的未见文档的边界值或困惑值？

how to get a bound or perplexity value of the new unseen document on trained model?

python

gensim