如何在扩展名为 .npy 的 gensim 中加载预训练的 fastText 模型

Question

我是深度学习的新手，我正在尝试使用来自 paper 的预训练词嵌入模型。我下载了以下文件：

1)sa-d300-m2-fasttext.model

2)sa-d300-m2-fasttext.model.trainables.syn1neg.npy

3)sa-d300-m2-fasttext.model.trainables.vectors_ngrams_lockf.npy

4)sa-d300-m2-fasttext.model.wv.vectors.npy

5)sa-d300-m2-fasttext.model.wv.vectors_ngrams.npy

6)sa-d300-m2-fasttext.model.wv.vectors_vocab.npy

如果需要这些详细信息 sa - 梵语 d300 - 嵌入维度快速文本 - 快速文本

我以前没有使用过 gensim，如何将模型加载到 gensim 或 tensorflow 中。

我试过了

from gensim.models.wrappers import FastText
FastText.load_fasttext_format('/content/sa/300/fasttext/sa-d300-m2-fasttext.model.wv.vectors_ngrams.npy')

FileNotFoundError: [Errno 2] No such file or directory: '/content/sa/300/fasttext/sa-d300-m2-fasttext.model.wv.vectors_ngrams.npy.bin'

Answer 1

这组多个文件看起来像是使用 Gensim 的 save() 方法从 Gensim 的 FastText 实现中保存的 - 因此 而不是 在 Facebook 的原始 'fasttext_format'.

因此，请尝试使用以下内容加载它们：

from gensim.models.fasttext import FastText
model = FastText.load('/content/sa/300/fasttext/sa-d300-m2-fasttext.model')

（加载 main/root 文件后，它会在同一目录中找到附属相关文件，只要它们都存在即可。）

您下载这些文件的来源应该包含在附近加载它们的明确说明！

How to load pre-trained fastText model in gensim with .npy extension