如何获得扩展查询的准确性(用户输入为更好的 IR 而扩展的查询)?
How to get accuracy of an expanded query (User input an query which is expanded for better IR)?
使用算法,我正在输入用户查询并展开它。现在我需要测试我的算法的准确性,我想为我的扩展查询获得准确性(精度和召回率)?
我使用过 terrier 并获取了 Trec 数据集(包含文档集合),
我进行了随机查询并使用 terrier 检索了相关文档,然后我使用我的算法对随机查询进行了扩展查询并检索了相关文档。
但我不知道如何使用这种方法获得准确率和召回率。
那么如何获得扩展查询的准确性?
是否可以使用其他工具?
谢谢
TREC 数据集(连同一组查询和一个文档集合)已为每个查询关联 relevance judgments。
要衡量您的查询扩展方法的"accuracy"(有效性),您需要在下游检索性能上对其进行测试,即如果您的查询扩展提高了检索,您应该认为它是有效的(根据平均精度或 P@5 等标准度量)。
使用 trec_eval 工具评估查询扩展方法之前(基线)和之后的检索效果。
使用算法,我正在输入用户查询并展开它。现在我需要测试我的算法的准确性,我想为我的扩展查询获得准确性(精度和召回率)?
我使用过 terrier 并获取了 Trec 数据集(包含文档集合), 我进行了随机查询并使用 terrier 检索了相关文档,然后我使用我的算法对随机查询进行了扩展查询并检索了相关文档。
但我不知道如何使用这种方法获得准确率和召回率。
那么如何获得扩展查询的准确性?
是否可以使用其他工具?
谢谢
TREC 数据集(连同一组查询和一个文档集合)已为每个查询关联 relevance judgments。
要衡量您的查询扩展方法的"accuracy"(有效性),您需要在下游检索性能上对其进行测试,即如果您的查询扩展提高了检索,您应该认为它是有效的(根据平均精度或 P@5 等标准度量)。
使用 trec_eval 工具评估查询扩展方法之前(基线)和之后的检索效果。