Word2Vec 有隐藏层吗？
Does Word2Vec has a hidden layer?
当我阅读 Tomas Mikolov 的一篇论文时：http://arxiv.org/pdf/1301.3781.pdf
连续词袋模型部分有一个问题：
The first proposed architecture is similar to the feedforward NNLM, where the non-linear hidden layer is removed and the projection layer is shared for all words (not just the projection matrix); thus, all words get projected into the same position (their vectors are averaged).
我发现有人提到Word2Vec模型中有一个隐藏层，但据我了解，该模型中只有一个投影层。这个投影层和隐藏层做同样的工作吗？
另外一个问题是如何将输入数据投影到投影层？
"the projection layer is shared for all words (not just the projection matrix)"，什么意思？
从original paper的3.1节可以看出没有隐藏层：
"the first proposed architecture is similar to the feedforward NNLM
where the non-linear hidden layer is removed and the projection layer is shared for all words".
关于你的第二个问题（共享投影层是什么意思），它意味着你只考虑一个单一的向量，它是上下文中所有单词的向量的质心。因此，不是将 n-1 个词向量作为输入，而是只考虑一个向量。这就是为什么它被称为 Continuous Bag of Words（因为词序在大小 n-1 的上下文中丢失）。
当我阅读 Tomas Mikolov 的一篇论文时：http://arxiv.org/pdf/1301.3781.pdf
连续词袋模型部分有一个问题：
The first proposed architecture is similar to the feedforward NNLM, where the non-linear hidden layer is removed and the projection layer is shared for all words (not just the projection matrix); thus, all words get projected into the same position (their vectors are averaged).
我发现有人提到Word2Vec模型中有一个隐藏层，但据我了解，该模型中只有一个投影层。这个投影层和隐藏层做同样的工作吗？
另外一个问题是如何将输入数据投影到投影层？
"the projection layer is shared for all words (not just the projection matrix)"，什么意思？
从original paper的3.1节可以看出没有隐藏层：
"the first proposed architecture is similar to the feedforward NNLM where the non-linear hidden layer is removed and the projection layer is shared for all words".
关于你的第二个问题（共享投影层是什么意思），它意味着你只考虑一个单一的向量，它是上下文中所有单词的向量的质心。因此，不是将 n-1 个词向量作为输入，而是只考虑一个向量。这就是为什么它被称为 Continuous Bag of Words（因为词序在大小 n-1 的上下文中丢失）。