skip-gram 和 skip-n-gram 的预训练向量

Question

我正在做一个项目，我需要一个 skip-gram 模型的预训练向量。我听说还有一种名为skip-n-gram模型的变体可以提供更好的结果。

我想知道自己训练模型需要什么？因为我只需要它们来为我的模型初始化嵌入层。

我搜索得够多了，但没有找到很好的例子。我需要你的建议。我在哪里可以得到这样的预训练模型或者没有预训练模型。

Answer 1

如果你有足够的数据，你可以训练我们自己的词向量。这可以使用 gensim 来完成。它们为主题建模提供了非常简单但功能强大的 API。

但是如果你想使用已经训练好的word2vec模型，你可以使用Google发布的word2vec model。它的大小为 1.5GB，包括 300 万个单词和短语的词汇向量，他们对来自 Google 新闻数据集的大约 1000 亿个单词进行了训练。

您可以使用 gensim 加载此模型。下载经过训练的 word2vec 模型并使用以下代码开始。

import math
import sys
import gensim
import warnings
warnings.filterwarnings(action='ignore', category=UserWarning, module='gensim') 

from gensim.models.keyedvectors import KeyedVectors

words = ['access', 'aeroway', 'airport']

# load the model
model = KeyedVectors.load_word2vec_format(path_to_model, binary=True)

# to extract word vector
print(model[words[0]])  # vector representing access

结果向量：

[ -8.74023438e-02  -1.86523438e-01 .. ]

请注意，您的系统在加载如此庞大的模型时可能会死机。

skip-gram 和 skip-n-gram 的预训练向量

Pre-trained vector of skip-gram and skip-n-gram

word2vec

pre-trained-model