训练自己的 Glove 模型时出现编码问题
Encoding problem while training my own Glove model
我正在用自己的语料库训练 GloVe 模型,但我无法将其保存 it/load 为 utf-8
格式。
这是我尝试过的:
from glove import Corpus, Glove
#data
lines = [['woman', 'umbrella', 'silhouetted'], ['person', 'black', 'umbrella']]
#GloVe training
corpus = Corpus()
corpus.fit(lines, window=4)
glove = Glove(no_components=4, learning_rate=0.1)
glove.fit(corpus.matrix, epochs=10, no_threads=8, verbose=True)
glove.add_dictionary(corpus.dictionary)
glove.save('glove.model.txt')
保存的文件glove.model.txt
不可读,我无法用utf-8
编码保存它。
当我尝试阅读它时,例如将其转换为 Word2Vec 格式:
from gensim.models.keyedvectors import KeyedVectors
from gensim.scripts.glove2word2vec import glove2word2vec
glove2word2vec(glove_input_file="glove.model.txt",
word2vec_output_file="gensim_glove_vectors.txt")
model = KeyedVectors.load_word2vec_format("gensim_glove_vectors.txt", binary=False)
我有以下错误:
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0: invalid start byte
知道如何使用我自己的 GloVe 模型吗?
我刚刚找到了一种用 utf-8
格式保存数据的方法,我在这里分享它以防有人遇到同样的问题
不使用手套保存方法glove.save('glove.model.txt')
尝试自己模拟一个手套记录:
with open("results_glove.txt", "w") as f:
for word in glove.dictionary:
f.write(word)
f.write(" ")
for i in range(0, vector_size):
f.write(str(glove.word_vectors[glove.dictionary[word]][i]))
f.write(" ")
f.write("\n")
那你就可以看书了。
我正在用自己的语料库训练 GloVe 模型,但我无法将其保存 it/load 为 utf-8
格式。
这是我尝试过的:
from glove import Corpus, Glove
#data
lines = [['woman', 'umbrella', 'silhouetted'], ['person', 'black', 'umbrella']]
#GloVe training
corpus = Corpus()
corpus.fit(lines, window=4)
glove = Glove(no_components=4, learning_rate=0.1)
glove.fit(corpus.matrix, epochs=10, no_threads=8, verbose=True)
glove.add_dictionary(corpus.dictionary)
glove.save('glove.model.txt')
保存的文件glove.model.txt
不可读,我无法用utf-8
编码保存它。
当我尝试阅读它时,例如将其转换为 Word2Vec 格式:
from gensim.models.keyedvectors import KeyedVectors
from gensim.scripts.glove2word2vec import glove2word2vec
glove2word2vec(glove_input_file="glove.model.txt",
word2vec_output_file="gensim_glove_vectors.txt")
model = KeyedVectors.load_word2vec_format("gensim_glove_vectors.txt", binary=False)
我有以下错误:
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0: invalid start byte
知道如何使用我自己的 GloVe 模型吗?
我刚刚找到了一种用 utf-8
格式保存数据的方法,我在这里分享它以防有人遇到同样的问题
不使用手套保存方法glove.save('glove.model.txt')
尝试自己模拟一个手套记录:
with open("results_glove.txt", "w") as f:
for word in glove.dictionary:
f.write(word)
f.write(" ")
for i in range(0, vector_size):
f.write(str(glove.word_vectors[glove.dictionary[word]][i]))
f.write(" ")
f.write("\n")
那你就可以看书了。