Mechanical Turk:如何让每个 turker 只进行一次攻击,同时允许多个 turker 进行相同的攻击?

Mechanical Turk: how to allow each turker to do just one hit while allow more than one turker to do the same hit?

大家好,我是 Mechanical Turk 的新手。我有 10k 张图片,我想请特克斯在 Mechanical Turk 中为每张图片写下简短的摘要。由于我的图像集中的所有图像都是相似的,当 Turker 做类似的摘要任务超过 10 次时,他会在这个任务中找出一些技巧,并写下以下图像的相似摘要。

为了增加多样性和随机性,我想请尽可能多的不同的人来做这个任务。完美的策略是一个独特的turker只允许标记一张图像(或少于10张图像),而一张图像可以被多个turker总结。我的实验旨在收集来自不同人的不同文本摘要,涵盖丰富的词汇集。

如果我没理解错的话,你总共有独特的图像可以标记。听起来您希望每个任务 (HIT) 都请求 Worker 标记 10 个独特的图像。这将产生 1K HIT,每个 HIT 包含 10 张图像。如果您希望只有一个唯一的 Worker 来标记每张图像,那么您可以将 Number of Assignments Requested 设置为 1。如果您希望多个 Worker 处理同一张图像(例如,为了确保质量,或者只是为了扩大您可能获得的标签的数量和类型)然后您将请求的分配数量设置为您希望处理每项任务的唯一工人数 (HIT)。

如果我误解了你的意思,请澄清一下,我很乐意修改我的答案。

您可以在此处了解有关这些概念的更多信息: http://docs.aws.amazon.com/AWSMechTurk/latest/RequesterUI/mechanical-turk-concepts.html

祝你好运!

是的,这是可能的。根据文档: http://docs.aws.amazon.com/AWSMechTurk/latest/AWSMechanicalTurkRequester/amt-dg.pdf(第 4 页)

You can specify the maximum number of assignments that any Worker can accept for your HITs.You can set two types of limits:

  • 对于您创建的特定 HIT 类型,任何 Worker 可以接受的最大分配数
  • 任何 Worker 可以为您的所有 HIT 接受的最大任务数 已经分配了特定于 HIT 类型的限制