是否应该并行地对相同的 reduce 任务进行两次尝试 运行？
Should two attempts for same reduce tasks continue to run in parallel?
我的hadoop reduce任务中的action是有外部影响的，不是幂等的。我在任务跟踪器中观察到，尝试了一个减速器，然后启动了同一组键的另一个减速器，而没有杀死原来的减速器。我配置错了吗？
这里是这个 reduce 任务的 table：
这是由于 hadoop 中的推测执行。如果 Hadoop 检测到少数集群节点上有一些慢速任务，它是 Hadoop 指定备份任务的选项。备份任务将优先安排在速度较快的节点上。重复任务中最先完成的任务将成为后续操作中使用的任务。
您可以通过将以下参数设置为 false 来关闭此功能
mapred.reduce.tasks.speculative.execution
我的hadoop reduce任务中的action是有外部影响的，不是幂等的。我在任务跟踪器中观察到，尝试了一个减速器，然后启动了同一组键的另一个减速器，而没有杀死原来的减速器。我配置错了吗？
这里是这个 reduce 任务的 table：
这是由于 hadoop 中的推测执行。如果 Hadoop 检测到少数集群节点上有一些慢速任务，它是 Hadoop 指定备份任务的选项。备份任务将优先安排在速度较快的节点上。重复任务中最先完成的任务将成为后续操作中使用的任务。
您可以通过将以下参数设置为 false 来关闭此功能
mapred.reduce.tasks.speculative.execution