gensim主题建模中的内存不足问题
Out of memory issue in gensim topic modeling
我想在我非常庞大的语料库上成功 运行 LDAseq 模型。我终于想从里面抽取100个话题了
我在 ldaseq 模型的步骤中遇到错误 "out of memory"。这是因为我有一个巨大的令牌，我不想t运行cate它。如何解决此内存问题？
- Windows-10-10.0.17763-SP0
- Python 3.6.5（v3.6.5:f59c0932b4，2018 年 3 月 28 日，17:00:18）[MSC v.1900 64 位 (AMD64)]
- NumPy 1.17.0
- SciPy 1.3.0
- gensim 3.8.0
- FAST_VERSION 0
我的预期结果与文档中显示的结果相同。我最终需要一个主题术语和主题文档矩阵。
在gensim.corpora.MMcorpus的MMCorpus上使用
它类似于易于构建的 UCI 弓。
https://radimrehurek.com/gensim/corpora/mmcorpus.html
我想在我非常庞大的语料库上成功 运行 LDAseq 模型。我终于想从里面抽取100个话题了
我在 ldaseq 模型的步骤中遇到错误 "out of memory"。这是因为我有一个巨大的令牌，我不想t运行cate它。如何解决此内存问题？
- Windows-10-10.0.17763-SP0
- Python 3.6.5（v3.6.5:f59c0932b4，2018 年 3 月 28 日，17:00:18）[MSC v.1900 64 位 (AMD64)]
- NumPy 1.17.0
- SciPy 1.3.0
- gensim 3.8.0
- FAST_VERSION 0
我的预期结果与文档中显示的结果相同。我最终需要一个主题术语和主题文档矩阵。
在gensim.corpora.MMcorpus的MMCorpus上使用 它类似于易于构建的 UCI 弓。 https://radimrehurek.com/gensim/corpora/mmcorpus.html