MRJob - 限制任务尝试次数

Question

在 MyJob 中，如何限制任务尝试次数（如果任务失败）？

我有很长的 运行 任务（相应地增加了超时），但我希望作业在同一任务尝试失败 2 次后结束，而不是 4-5 次。

我在文档中找不到这样的内容：

http://mrjob.readthedocs.org/en/latest//en/latest/guides/configs-reference.html

Answer 1

对于 map 作业，您可以在 Hadoop 2 中设置 mapreduce.map.maxattempts。对于 reduce 作业，设置 mapreduce.reduce.maxattempts (source)。 Hadoop 1 中的等效项是：mapred.map.max.attempts 和 mapred.reduce.max.attempts.

如果您在 MRJob 中使用 conf 文件，您可以将其设置为：

runners:
    emr:
        jobconf:
            mapreduce.map.maxattempts: 2