Word2Vec 有隐藏层吗?
Does Word2Vec has a hidden layer?
当我阅读 Tomas Mikolov 的一篇论文时:http://arxiv.org/pdf/1301.3781.pdf
连续词袋模型部分有一个问题:
The first proposed architecture is similar to the feedforward NNLM, where the non-linear hidden layer is removed and the projection layer is shared for all words (not just the projection matrix); thus, all words get projected into the same position (their vectors are averaged).
我发现有人提到Word2Vec模型中有一个隐藏层,但据我了解,该模型中只有一个投影层。这个投影层和隐藏层做同样的工作吗?
另外一个问题是如何将输入数据投影到投影层?
"the projection layer is shared for all words (not just the projection matrix)",什么意思?
从original paper的3.1节可以看出没有隐藏层:
"the first proposed architecture is similar to the feedforward NNLM
where the non-linear hidden layer is removed and the projection layer is shared for all words".
关于你的第二个问题(共享投影层是什么意思),它意味着你只考虑一个单一的向量,它是上下文中所有单词的向量的质心。因此,不是将 n-1
个词向量作为输入,而是只考虑一个向量。这就是为什么它被称为 Continuous Bag of Words(因为词序在大小 n-1
的上下文中丢失)。
当我阅读 Tomas Mikolov 的一篇论文时:http://arxiv.org/pdf/1301.3781.pdf
连续词袋模型部分有一个问题:
The first proposed architecture is similar to the feedforward NNLM, where the non-linear hidden layer is removed and the projection layer is shared for all words (not just the projection matrix); thus, all words get projected into the same position (their vectors are averaged).
我发现有人提到Word2Vec模型中有一个隐藏层,但据我了解,该模型中只有一个投影层。这个投影层和隐藏层做同样的工作吗?
另外一个问题是如何将输入数据投影到投影层?
"the projection layer is shared for all words (not just the projection matrix)",什么意思?
从original paper的3.1节可以看出没有隐藏层:
"the first proposed architecture is similar to the feedforward NNLM where the non-linear hidden layer is removed and the projection layer is shared for all words".
关于你的第二个问题(共享投影层是什么意思),它意味着你只考虑一个单一的向量,它是上下文中所有单词的向量的质心。因此,不是将 n-1
个词向量作为输入,而是只考虑一个向量。这就是为什么它被称为 Continuous Bag of Words(因为词序在大小 n-1
的上下文中丢失)。