如何使用 Gensim 加载预训练的 FastText 词嵌入？

Question

我下载了词嵌入 from this link。我想在 Gensim 中加载它来做一些工作，但我无法加载它。我找到了很多资源，其中 none 有效。我正在使用 Gensim 版本 4.1.

我试过了

gensim.models.fasttext.load_facebook_model('/home/admin1/embeddings/crawl-300d-2M.vec')
gensim.models.fasttext.load_facebook_vectors('/home/admin1/embeddings/crawl-300d-2M.vec')

它正在向我展示

NotImplementedError: Supervised fastText models are not supported

我尝试使用 FastText.load('/home/admin1/embeddings/crawl-300d-2M.vec',) 加载它，但随后显示 UnpicklingError: could not find MARK。

另外，使用

Answer 1

根据 NotImplementedError，这些是 Gensim 不支持的一种完整的 Facebook FastText 模型，-supervised 模式。

很遗憾，“你如何加载这些？”的答案是“你不知道”。

.vec 文件仅包含纯文本格式的全词向量——没有用于合成 OOV 向量或监督分类输出特征的子词信息。这些可以加载到 KeyedVectors 模型中：

kv_model = KeyedVectors.load_word2vec_format('crawl-300d-2M.vec')

如何使用 Gensim 加载预训练的 FastText 词嵌入？

How to load pre trained FastText Word Embeddings using Gensim?

nlp

stanford-nlp

gensim

fasttext