如何在图像上应用 word2vec?

How to apply word2vec on images?

我一直在研究Google的word2vec模型。我能够为最大 300 维的文本词语料库生成向量。这是一个非常令人印象深刻的工具,并且在大数据上的准确性更高。

我很好奇,有什么方法可以使用word2vec在灰度图像上生成向量。我确信方法是相同的,您根据像素强度生成向量,然后计算余弦相似度。

我正在尝试建立一个模型来计算灰度图像上的相似性距离。除了适用于文本的 word2vec 或 glove 之外,任何图书馆都能够做到这一点?

我同意你的看法,word2vec 是非常令人印象深刻的工具,但是这个模型是通过预测某篇文章或新闻中的下一个词 来训练的。总而言之,我认为在 image 上使用 word2vec 没有任何意义。

您可以使用skimage to do some image measure. e.g skimage-measure

Word2vec 不是一个很好的图像模型,但我认为你真正需要的是 bag of word model. In a basic method of image comparison, you convert images to a list of key point features (e.g. SIFT, SURF or etc.), then you match clusters of points with each other (e.g. FLANN)。

图像中的大量特征和每个点表示的不确定性使得难以使用基本的一层网络学习(例如word2vec)进行图像识别。您可能会在 tutorials.

中找到更好的示例

3 年后更新:我还应该提到 ConvNets 和几个现在可用的预训练模型,您可以从像素中提取视觉特征。