创建 word2vec 模型 syn1neg.npy 扩展
creating word2vec model syn1neg.npy extension
创建模型时,没有更多模型扩展完成
.syn1neg.npy
syn0.npy
我的代码如下:
corpus= x+y
tok_corp= [nltk.word_tokenize(sent.decode('utf-8')) for sent in corpus]
model = gensim.models.Word2Vec(tok_corp, min_count=1, size = 32)
model.save('/home/Desktop/test_model')
model = gensim.models.Word2Vec.load('/home/kafein/Desktop/chatbot/test_model')
只有1个模型文件
test_model
我哪一部分错了?
Gensim 的本机 .save()
仅将模型的一部分保存到此类单独的文件中(如 test_model.syn1neg.npy
等),如果它们大于某个阈值。当它们很小时,它们会 "pickled" 进入单个模型保存文件。
所以这里没有 problem/error。如果您开始使用更多单词训练更大的模型,您可能会看到那些其他文件重新出现。 (当你这样做时,一定要将它们与主 test_model
文件放在一起,如果 copying/moving 它们在别处 - 所有文件都需要一起重新 load()
模型。)
创建模型时,没有更多模型扩展完成
.syn1neg.npy
syn0.npy
我的代码如下:
corpus= x+y
tok_corp= [nltk.word_tokenize(sent.decode('utf-8')) for sent in corpus]
model = gensim.models.Word2Vec(tok_corp, min_count=1, size = 32)
model.save('/home/Desktop/test_model')
model = gensim.models.Word2Vec.load('/home/kafein/Desktop/chatbot/test_model')
只有1个模型文件
test_model
我哪一部分错了?
Gensim 的本机 .save()
仅将模型的一部分保存到此类单独的文件中(如 test_model.syn1neg.npy
等),如果它们大于某个阈值。当它们很小时,它们会 "pickled" 进入单个模型保存文件。
所以这里没有 problem/error。如果您开始使用更多单词训练更大的模型,您可能会看到那些其他文件重新出现。 (当你这样做时,一定要将它们与主 test_model
文件放在一起,如果 copying/moving 它们在别处 - 所有文件都需要一起重新 load()
模型。)