Doc2vec：gensim doc2vec 模型中只有 10 个 docvec？

Question

我使用 gensim 拟合了一个 doc2vec 模型，并将标记文档（长度>10）作为训练数据。目标是获取所有训练文档的文档向量，但在 model.docvecs.

中只能找到 10 个向量

训练数据示例（长度>10）

docs = ['This is a sentence', 'This is another sentence', ....]

经过一些预处理

doc_=[d.strip().split(" ") for d in doc]
doc_tagged = []
for i in range(len(doc_)):
  tagd = TaggedDocument(doc_[i],str(i))
  doc_tagged.append(tagd)

标记的文档

TaggedDocument(words=array(['a', 'b', 'c', ..., ],
  dtype='<U32'), tags='117')

拟合 doc2vec 模型

model = Doc2Vec(min_count=1, window=10, size=100, sample=1e-4, negative=5, workers=8)
model.build_vocab(doc_tagged)
model.train(doc_tagged, total_examples= model.corpus_count, epochs= model.iter)

然后我得到最终模型

len(model.docvecs)

结果是 10...

我尝试了其他数据集（长度>100、1000）并得到了 len(model.docvecs) 相同的结果。所以，我的问题是：如何使用 model.docvecs 获取完整向量？（不使用 model.infer_vector） model.docvecs 是否旨在提供所有培训文档？

Answer 1

错误在这一行：

tagd = TaggedDocument(doc[i],str(i))

Gensim 的 TaggedDocument 接受 标签序列 作为第二个参数。当您传递字符串 '123' 时，它会变成 ['1', '2', '3']，因为它被视为序列。因此，所有文档都仅使用 10 个标签 ['0', ..., '9'] 以各种组合进行标记。

另一个问题：您正在定义 doc_ 而从未实际使用它，因此您的文档也会被错误地拆分。

正确的解决方案如下：

docs = [doc.strip().split(' ') for doc in docs]
tagged_docs = [doc2vec.TaggedDocument(doc, [str(i)]) for i, doc in enumerate(docs)]

Doc2vec：gensim doc2vec 模型中只有 10 个 docvec？

Doc2vec: Only 10 docvecs in gensim doc2vec model?

nlp

machine-learning

gensim

word2vec

doc2vec