Gensim evaluate_word_pairs 的输出中使用了哪些指标?

What Metrics Are Used in the Output of Gensim's evaluate_word_pairs?

Gensim 为 evaluating semantic similarity 提供 evaluate_word_pairs 功能。

这是其页面中的示例:

model.wv.evaluate_word_pairs(datapath('wordsim353.tsv'))

Out:
((0.1014236962315867, 0.44065378924434523), SpearmanrResult(correlation=0.07441989763914543, pvalue=0.5719973648460552), 83.0028328611898)

我想知道输出中使用了哪些指标来生成每个值(0.1014236962315867、0.44065378924434523、...)?

根据 documentation for evaluate_word_pairs():

Returns

  • pearson (tuple of (float, float)) – Pearson correlation coefficient with 2-tailed p-value.
  • spearman (tuple of (float, float)) – Spearman rank-order correlation coefficient between the similarities from the dataset and the similarities produced by the model itself, with 2-tailed p-value.
  • oov_ratio (float) – The ratio of pairs with unknown words.

根据您的输出,Pearson 结果看起来仍然只是一个普通元组,而 Spearman 结果已报告为命名元组。但在每种情况下,相关系数似乎都是第一个,然后是 p 值。

请注意,oov_ratio 报告为模型未知的测试词的 百分比

请参阅 Pearson and Spearman coefficients/p-values 的 definitions/explanations 的其他参考资料。