计算相对召回
Calculating Relative Recall
使用 TREC 和 'K' 池计算相对召回率时，相关文档总数是否反映了每个查询所有参与系统的相关文档，还是所有查询？
而且这种方法不会使召回率计算无效吗，假设我有两个系统之间的 50 个顶级文档，但总共有 75 个相关文档，那么无论哪个系统有多好，它们都永远无法达到 100% 的召回率？
When calculating relative recall using TREC and 'K' pooling, does the total relevant documents reflect relevant documents from all participating systems per query or is it all the queries?
相关文档集包括人类访问者判断相关的文档，他们被要求查看每个参与系统检索到的前 100 个文档的联合。请注意单词 union 上的重音，这表明访问器未按任何特定顺序显示此集合。所以，这个池子确实是一个集合（而不是有序集合）。
每个查询的相关文档集都不同。所以你可能会想如果 R 表示相关文档集，它有一个参数 q （查询）。所以，实际上你有 R(q) 而不仅仅是 R.
And does this approach not invalidate recall calculations, say I have the 50 top documents between two systems but collectively there are 75 relevant documents, then irrespective of how good either system is they will never be able to reach 100% recall?
原则上，如果他们每人检索至少 75 个文档，则可以实现 100% 的召回率。显然，如果允许您检索 10 个文档并且总共有 20 个相关文档，那么最大值。记得你能达到的只有50%.
使用 TREC 和 'K' 池计算相对召回率时，相关文档总数是否反映了每个查询所有参与系统的相关文档，还是所有查询？
而且这种方法不会使召回率计算无效吗，假设我有两个系统之间的 50 个顶级文档，但总共有 75 个相关文档，那么无论哪个系统有多好，它们都永远无法达到 100% 的召回率？
When calculating relative recall using TREC and 'K' pooling, does the total relevant documents reflect relevant documents from all participating systems per query or is it all the queries?
相关文档集包括人类访问者判断相关的文档，他们被要求查看每个参与系统检索到的前 100 个文档的联合。请注意单词 union 上的重音，这表明访问器未按任何特定顺序显示此集合。所以，这个池子确实是一个集合（而不是有序集合）。
每个查询的相关文档集都不同。所以你可能会想如果 R 表示相关文档集，它有一个参数 q （查询）。所以，实际上你有 R(q) 而不仅仅是 R.
And does this approach not invalidate recall calculations, say I have the 50 top documents between two systems but collectively there are 75 relevant documents, then irrespective of how good either system is they will never be able to reach 100% recall?
原则上，如果他们每人检索至少 75 个文档，则可以实现 100% 的召回率。显然，如果允许您检索 10 个文档并且总共有 20 个相关文档，那么最大值。记得你能达到的只有50%.