关键字之间的余弦相似度
Cosine Similarity between keywords
我是 python 中记录相似性的新手，我对如何处理某些数据感到困惑。基本上，我想获得包含关键字的字典之间的余弦相似度。
我有这样的口述，我是直接从数据库中得到的：
{'hat': 0.12, 'cat': 0.33, 'sat': 0.45}
{'rat': 0.22, 'bat':0.98, 'cat': 0.01}
我查询数据库并以这种格式取回数据。这些都是关键字列表及其各自的 tf-idf scores/weights。
{'keyword': tfidf_score}
我想做的就是得到这两个字典之间的余弦相似度，由 tfidf 分数加权。在网上看，当涉及到文档相似性时，我对所有不同的 python libraries/modules 感到不知所措。我不知道是否有一些内置函数可以将这些类型的 json 对象传递给，如果我应该编写自己的函数来使用权重，或者什么。
感谢任何帮助！
谢谢！
SciKit Learn 库有一个相当简单的余弦度量。虽然我同意图书馆很大而且看起来不堪重负，但您可以深入研究小部分。
我不太确定你通过按照你建议的方式进行比较想要达到什么目的，但是如果你想获得文档之间的余弦相似度由关键字[=25=表示] 在语料库中，您首先需要（正如 Marmikshah 指出的那样）以关键字术语（维度）表示文档的向量。
例如
import logging
import numpy
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
logging.basicConfig(level=logging.DEBUG,
filename='test.log', filemode='w')
dataset = ['the cat sat on the mat',
'the rat sat in the hat',
'the hat sat on the bat']
vectorizer = TfidfVectorizer()
X_tfidf = vectorizer.fit_transform(dataset)
# ...you say you are already at this point here...
sims = cosine_similarity(X_tfidf, X_tfidf)
rank = list(reversed(numpy.argsort(sims[0])))
logging.debug("\nTdidf: \n%s" % X_tfidf.toarray())
logging.debug("\nSims: \n%s", sims)
logging.debug("\nRank: \n%s", rank)
通常，例如在搜索中，您首先要预先对语料库进行矢量化，然后对搜索查询进行矢量化并获取其表示形式的模拟：
Y_tfidf = vectorizer.fit_transform(search_query)
sims = cosine_similarity(Y_tfidf, X_tfidf)
然后排名 pick/present 最靠前的文档。
我修改了这个 X,Y 以在语料库中交叉引用文档而不是上面的 X,X。
我是 python 中记录相似性的新手，我对如何处理某些数据感到困惑。基本上，我想获得包含关键字的字典之间的余弦相似度。
我有这样的口述，我是直接从数据库中得到的：
{'hat': 0.12, 'cat': 0.33, 'sat': 0.45}
{'rat': 0.22, 'bat':0.98, 'cat': 0.01}
我查询数据库并以这种格式取回数据。这些都是关键字列表及其各自的 tf-idf scores/weights。
{'keyword': tfidf_score}
我想做的就是得到这两个字典之间的余弦相似度，由 tfidf 分数加权。在网上看，当涉及到文档相似性时，我对所有不同的 python libraries/modules 感到不知所措。我不知道是否有一些内置函数可以将这些类型的 json 对象传递给，如果我应该编写自己的函数来使用权重，或者什么。
感谢任何帮助！
谢谢！
SciKit Learn 库有一个相当简单的余弦度量。虽然我同意图书馆很大而且看起来不堪重负，但您可以深入研究小部分。
我不太确定你通过按照你建议的方式进行比较想要达到什么目的，但是如果你想获得文档之间的余弦相似度由关键字[=25=表示] 在语料库中，您首先需要（正如 Marmikshah 指出的那样）以关键字术语（维度）表示文档的向量。
例如
import logging
import numpy
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
logging.basicConfig(level=logging.DEBUG,
filename='test.log', filemode='w')
dataset = ['the cat sat on the mat',
'the rat sat in the hat',
'the hat sat on the bat']
vectorizer = TfidfVectorizer()
X_tfidf = vectorizer.fit_transform(dataset)
# ...you say you are already at this point here...
sims = cosine_similarity(X_tfidf, X_tfidf)
rank = list(reversed(numpy.argsort(sims[0])))
logging.debug("\nTdidf: \n%s" % X_tfidf.toarray())
logging.debug("\nSims: \n%s", sims)
logging.debug("\nRank: \n%s", rank)
通常，例如在搜索中，您首先要预先对语料库进行矢量化，然后对搜索查询进行矢量化并获取其表示形式的模拟：
Y_tfidf = vectorizer.fit_transform(search_query)
sims = cosine_similarity(Y_tfidf, X_tfidf)
然后排名 pick/present 最靠前的文档。
我修改了这个 X,Y 以在语料库中交叉引用文档而不是上面的 X,X。