trec_eval 如何计算平均精度 (MAP)？
How does trec_eval calculates Mean Average Precision (MAP)?
我正在使用 TREC_EVAL 来评估搜索引擎。我想知道它是如何计算平均精度 (MAP) 的。我确定它不会计算平均精度 (AP) 的简单平均值。貌似是加权运算，但我不明白使用了哪些权重。
MAP 确实是单个主题的 AP 分数的简单算术平均值。 （但请记住，单个主题的 AP 是根据 所有 相关文档计算的。有一个经常使用的不正确的 AP 定义是仅对相关检索文档计算 'AP'，但是是一种荒谬的措施，因为它奖励检索较少相关的内容。）
每个 TREC 程序的附录的 "Common Measures" 部分都有最常用的 TREC 评估措施的定义。 TREC 程序位于 TREC 网站的出版物部分，trec.nist.gov。
艾伦·沃赫斯
TREC项目经理
美国国家标准研究院
我正在使用 TREC_EVAL 来评估搜索引擎。我想知道它是如何计算平均精度 (MAP) 的。我确定它不会计算平均精度 (AP) 的简单平均值。貌似是加权运算，但我不明白使用了哪些权重。
MAP 确实是单个主题的 AP 分数的简单算术平均值。 （但请记住，单个主题的 AP 是根据 所有 相关文档计算的。有一个经常使用的不正确的 AP 定义是仅对相关检索文档计算 'AP'，但是是一种荒谬的措施，因为它奖励检索较少相关的内容。）
每个 TREC 程序的附录的 "Common Measures" 部分都有最常用的 TREC 评估措施的定义。 TREC 程序位于 TREC 网站的出版物部分，trec.nist.gov。
艾伦·沃赫斯 TREC项目经理 美国国家标准研究院