Skip gram模型的输入是否有多个标签？
Does the input of Skip gram model have multiple labels?
假设源文本是：
The quick brown fox jumps over the lazy dog
而window大小为2，如下图：
所以我们有很多训练样本，训练样本的格式是(input, label)。
例如：
(the,quick), (the,brown), (quick,the), (quick,brown), (quick,fox).....
这是否意味着输入 (quick) 有三个输出 (the, brown, fox)?
3 对中的每一对 – (quick,the)、(quick,brown)、(quick,fox) – 本质上是一个单独的训练示例。
基本上每一对都独立地呈现给浅层神经网络，然后评估该网络的输出。
（这要么通过默认的负采样稀疏方法，其中检查了您所称的 'label' 的输出节点，加上 N 个其他随机选项，要么通过替代的分层 softmax，其中仅检查 'label' 字编码中涉及的节点。在任一模式下，为了提高效率，仅检查神经网络输出的一小部分。）
在某种程度上，那些少数检查的输出对于那个训练示例（一对）来说不是理想的，一些纠正性的推动被反向传播。然后下一个（input，label）被spearately处理。
只有通过所有这些对比示例的累积效应，在许多时期交错，最终的网络权重才会以不同的强度反映出有时 quick 应该比其他 brown 更多激活节点，其他时间 quick 应该在其他节点上激活 fox。
所以是的，在某种意义上，quick 在 skip-gram 训练微型示例中与 3 种不同的理想输出相关联，仅来自您的一个文本。 （在一个好的语料库中，quick 有许多其他微妙变化的用法，它也会与其他潜在输出相关联，但次数不同。）
假设源文本是：
The quick brown fox jumps over the lazy dog
而window大小为2，如下图：
所以我们有很多训练样本，训练样本的格式是(input, label)。
例如：
(the,quick), (the,brown), (quick,the), (quick,brown), (quick,fox).....
这是否意味着输入 (quick) 有三个输出 (the, brown, fox)?
3 对中的每一对 – (quick,the)、(quick,brown)、(quick,fox) – 本质上是一个单独的训练示例。
基本上每一对都独立地呈现给浅层神经网络，然后评估该网络的输出。
（这要么通过默认的负采样稀疏方法，其中检查了您所称的 'label' 的输出节点，加上 N 个其他随机选项，要么通过替代的分层 softmax，其中仅检查 'label' 字编码中涉及的节点。在任一模式下，为了提高效率，仅检查神经网络输出的一小部分。）
在某种程度上，那些少数检查的输出对于那个训练示例（一对）来说不是理想的，一些纠正性的推动被反向传播。然后下一个（input，label）被spearately处理。
只有通过所有这些对比示例的累积效应，在许多时期交错，最终的网络权重才会以不同的强度反映出有时 quick 应该比其他 brown 更多激活节点，其他时间 quick 应该在其他节点上激活 fox。
所以是的，在某种意义上，quick 在 skip-gram 训练微型示例中与 3 种不同的理想输出相关联，仅来自您的一个文本。 （在一个好的语料库中，quick 有许多其他微妙变化的用法，它也会与其他潜在输出相关联，但次数不同。）