Word2Vec 如何确保反义词在向量中相距较远 space
How does Word2Vec ensure that antonyms will be far apart in the vector space
从广义上讲,word2vec的训练是将经常出现在同一上下文中的词聚集在向量space中的过程。
我们首先随机打乱平面上的单词,然后随着每次迭代形成越来越多的聚类。
我想我明白了这一点,但我们如何确保作为反义词或很少出现在同一上下文中的词不会最终出现在附近的集群中?还有我们怎么知道更不相关的词比不那么不相关的词更远。
我们不能。那就是word2vec的问题。我们无法区分否定同义词和反义词,因为正如您所说,这些词经常出现在相同的上下文中。
详细说明 Novak 的回应:
你好像把word2vec
当成了评估语义意义的工具。尽管大部分结果都与意义相关,但 而不是 word2vec
的功能。相反,它表示上下文相关性,(有点松散地)被视为 "relevance".
当此 "relevance" 应用于某些问题时,尤其是 当需要多次 "relevance" 命中以支持可报告的结果时,那么整体效果往往对手头的问题有用
对于您的情况,请注意,为了文学对比或其他强调,一个词及其反义词通常会彼此相邻出现。因此,它们在语境上 相当 彼此相关。除非您有一些预处理可以识别并适当地改变各种形式的否定,否则您会在矢量化中经常看到这样的对——这对工具来说是合适的。
从广义上讲,word2vec的训练是将经常出现在同一上下文中的词聚集在向量space中的过程。 我们首先随机打乱平面上的单词,然后随着每次迭代形成越来越多的聚类。 我想我明白了这一点,但我们如何确保作为反义词或很少出现在同一上下文中的词不会最终出现在附近的集群中?还有我们怎么知道更不相关的词比不那么不相关的词更远。
我们不能。那就是word2vec的问题。我们无法区分否定同义词和反义词,因为正如您所说,这些词经常出现在相同的上下文中。
详细说明 Novak 的回应:
你好像把word2vec
当成了评估语义意义的工具。尽管大部分结果都与意义相关,但 而不是 word2vec
的功能。相反,它表示上下文相关性,(有点松散地)被视为 "relevance".
当此 "relevance" 应用于某些问题时,尤其是 当需要多次 "relevance" 命中以支持可报告的结果时,那么整体效果往往对手头的问题有用
对于您的情况,请注意,为了文学对比或其他强调,一个词及其反义词通常会彼此相邻出现。因此,它们在语境上 相当 彼此相关。除非您有一些预处理可以识别并适当地改变各种形式的否定,否则您会在矢量化中经常看到这样的对——这对工具来说是合适的。