SpaCy：如何加载 Google 新闻 word2vec 向量？

Question

我尝试了几种加载 google 新闻 word2vec 向量 (https://code.google.com/archive/p/word2vec/) 的方法：

en_nlp = spacy.load('en',vector=False)
en_nlp.vocab.load_vectors_from_bin_loc('GoogleNews-vectors-negative300.bin')

以上给出：

MemoryError: Error assigning 18446744072820359357 bytes

我也尝试过使用 .gz 压缩载体；或者通过 gensim 将它们加载并保存为新格式：

from gensim.models.word2vec import Word2Vec
model = Word2Vec.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True)
model.save_word2vec_format('googlenews2.txt')

此文件每行包含单词及其单词向量。我试图加载它们：

en_nlp.vocab.load_vectors('googlenews2.txt')

但它 returns“0”。

正确的做法是什么？

更新：

我可以将自己创建的文件加载到 spacy 中。我使用 test.txt 文件，每行带有 "string 0.0 0.0 ...."。然后将此 txt 用 .bzip2 压缩到 test.txt.bz2。然后我创建一个 spacy 兼容的二进制文件：

spacy.vocab.write_binary_vectors('test.txt.bz2', 'test.bin')

我可以加载到 spacy:

nlp.vocab.load_vectors_from_bin_loc('test.bin')

这有效！但是，当我对 googlenews2.txt 执行相同的过程时，出现以下错误：

lib/python3.6/site-packages/spacy/cfile.pyx in spacy.cfile.CFile.read_into (spacy/cfile.cpp:1279)()

OSError:

Answer 1

对于 spacy 1.x，将 Google 新闻向量加载到 gensim 中并转换为新格式（.txt 中的每一行包含一个向量：string、vec）：

from gensim.models.word2vec import Word2Vec
from gensim.models import KeyedVectors
model = KeyedVectors.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True)
model.wv.save_word2vec_format('googlenews.txt')

删除 .txt 的第一行：

tail -n +2 googlenews.txt > googlenews.new && mv -f googlenews.new googlenews.txt

将 txt 压缩为 .bz2:

bzip2 googlenews.txt

创建一个 SpaCy 兼容的二进制文件：

spacy.vocab.write_binary_vectors('googlenews.txt.bz2','googlenews.bin')

将 googlenews.bin 移动到您的 python 环境的 /lib/python/site-packages/spacy/data/en_google-1.0.0/vocab/googlenews.bin。

然后加载词向量：

import spacy
nlp = spacy.load('en',vectors='en_google')

或稍后加载它们：

nlp.vocab.load_vectors_from_bin_loc('googlenews.bin')

Answer 2

我知道这个问题已经得到解答，但我将提供一个更简单的解决方案。此解决方案会将 google 新闻向量加载到空白的 spacy nlp 对象中。

import gensim
import spacy

# Path to google news vectors
google_news_path = "path\to\google\news\GoogleNews-vectors-negative300.bin.gz"

# Load google news vecs in gensim
model = gensim.models.KeyedVectors.load_word2vec_format(gn_path, binary=True)

# Init blank english spacy nlp object
nlp = spacy.blank('en')

# Loop through range of all indexes, get words associated with each index.
# The words in the keys list will correspond to the order of the google embed matrix
keys = []
for idx in range(3000000):
    keys.append(model.index2word[idx])

# Set the vectors for our nlp object to the google news vectors
nlp.vocab.vectors = spacy.vocab.Vectors(data=model.syn0, keys=keys)

>>> nlp.vocab.vectors.shape
(3000000, 300)

Answer 3

我正在使用 spaCy v2.0.10。

Create a SpaCy compatible binary file:
spacy.vocab.write_binary_vectors('googlenews.txt.bz2','googlenews.bin')

我想强调一下，已接受答案中的特定代码现在不起作用。我运行代码的时候遇到了"AttributeError: ..."

这在 spaCy v2 中已经改变。 write_binary_vectors 在 v2 中被删除。从spaCy documentations开始，目前的做法如下：

$ python -m spacy init-model en /path/to/output -v /path/to/vectors.bin.tar.gz

Answer 4

通过google下载word2vec压缩模型使用gensim api更容易，它将存储在/home/"your_username"/gensim-data/word2vec-google-news-300/中。加载向量并玩球。我有 16GB 的内存，足以处理模型

import gensim.downloader as api

model = api.load("word2vec-google-news-300")  # download the model and return as object ready for use
word_vectors = model.wv #load the vectors from the model

SpaCy：如何加载 Google 新闻 word2vec 向量？

SpaCy: how to load Google news word2vec vectors?

python

nlp

word2vec

spacy