嵌入循环神经网络

Question

我正在从事一个关于文本数据的研究项目（它是关于搜索引擎查询监督分类的）。我已经实现了不同的方法，并且我还为文本使用了不同的模型（例如我的词汇量的二进制向量 - 如果第 i 个单词出现在文本中则为 1，否则为 0 - 或者使用模型 word2vec 嵌入的单词).

我的顾问告诉我，也许我们可以使用递归神经网络找到另一种查询表示。由于递归关系，这种表示应考虑文本中单词的顺序。我已经阅读了一些关于 RNN 的文档，但我没有找到任何对这个目标有用的东西。我已经阅读了很多关于语言建模（预测单词的概率）的东西，但我不明白我如何调整这个模型以获得像嵌入式向量这样的东西。

非常感谢！

Answer 1

通常，如果想从一个查询或一个句子中利用 RNN 获得嵌入，就会使用 logits。 logits 只是完整 sentence/query 正向传递后网络的输出值。

logit 值产生一个向量，该向量具有输出层的维度（即目标的数量 类）：通常是词汇表，因为它们是从语言模型中提取的。

有关提示，请查看这些：

• http://arxiv.org/abs/1603.07012
• How does word2vec give one hot word vector from the embedding vector?

请注意，原则上也可以使用双向网络或在其他任务上训练的网络，以获得更小的嵌入，即使最后一个选项有点花哨，据我所知尚未探索。