我们能否合并来自相似数据集的排名以产生全球排名?

Can we merge rankings from somewhat-similar data sets to produce a global rank?

另一种提问方式是:我们可以使用来自不同数据集的相对排名来产生全球排名吗?

假设我有各种数据集,它们根据小动物的可爱程度进行了排名:1) 小猫、2) 小狗、3) 树懒和 4) 大象。我使用成对比较(即,向人们展示两张动物的随机照片并要求他们 select 最可爱的一张)来获得这些排名。我还在数据集中进行了全部比较(即,在小狗数据集中对所有小狗进行了相互比较)。

我现在正在尝试将数据集合并在一起,以生成最可爱动物的全球排名。

相对排序的主要问题是一组中最可爱的动物不一定是另一组中最可爱的动物。例如,假设小象被认为缺乏吸引力,因此,最不可爱的小猫总是会打败最可爱的大象。我应该如何解决这个问题?

我正在考虑对数据集(小猫与大象、小狗与小猫等)进行一些交叉比较,以创建某种基本重要性,但这可能会成为问题,因为我添加了动物的数量和动物的种类。

我也在考虑进一步研究稀疏矩阵的填充,但我认为这仅适用于一个数据集,而不是跨多个数据集进行比较?

您可以使用 评分系统 完成您的任务,就像最知名的 EloGlicko,或我们的 rankade。评级系统允许从成对比较开始建立排名,并且

  • 你不需要做所有的比较,也不是所有的动物都参与相同数量的比较,
  • 你不需要只在特定数据集中进行比较(让所有动物 'play' 与所有其他动物进行比较,然后如果你需要对一个数据集进行排名,只需使用全局排名忽略其他动物) .

使用 rankade(这里是 comparison 与上述排名系统和微软的 TrueSkill)你可以记录 2+ 的输出物品也是如此,而使用 Elo 或 Glicko 则不需要。人们对许多项目进行排名非常混乱和困难,但在您的工作中,小型多重比较(例如 3-5 只动物)应该是合适且有用的。