当与推荐项目的相关性为二进制形式时,我们可以使用 NDCG 作为推荐系统指标吗?
Can we use NDCG as a recommender system metric when the relevance to the recommended item is in binary form?
通常在 ndcg 计算中存在与项目相关的相关性,但如果我们只有 0/1 形式的反馈。例如
list ={1,0,0,0,1} 当我们推荐了 5 个项目时(第一个和最后一个项目在这里是相关的)
我们如何在这里计算 ndcg ? ndcg 评估中的顺序是否重要?
还有哪些指标对基于二元反馈的推荐的评估有用?
NDCG@N(归一化折扣计算增益)是排名输出中前 N 个位置的排名度量,所以是的,顺序在这里最重要。查看关于如何计算的详细说明,以便更好地理解示例 on the wikipedia article。只是 {0,1} 作为相关性分数。
用于评估推荐系统的排名列表输出的其他有用度量是:命中率 (HR@N)、召回率和精确率 (REC@N)、平均 Recipricol Rank (MRR@N)、AUC,Mean Percentile Rank (MRP) or for graded relevance (not your case) Expected Reciprocal Rank (ERR)
通常在 ndcg 计算中存在与项目相关的相关性,但如果我们只有 0/1 形式的反馈。例如
list ={1,0,0,0,1} 当我们推荐了 5 个项目时(第一个和最后一个项目在这里是相关的) 我们如何在这里计算 ndcg ? ndcg 评估中的顺序是否重要?
还有哪些指标对基于二元反馈的推荐的评估有用?
NDCG@N(归一化折扣计算增益)是排名输出中前 N 个位置的排名度量,所以是的,顺序在这里最重要。查看关于如何计算的详细说明,以便更好地理解示例 on the wikipedia article。只是 {0,1} 作为相关性分数。
用于评估推荐系统的排名列表输出的其他有用度量是:命中率 (HR@N)、召回率和精确率 (REC@N)、平均 Recipricol Rank (MRR@N)、AUC,Mean Percentile Rank (MRP) or for graded relevance (not your case) Expected Reciprocal Rank (ERR)