AWS EMR - 作业计数器超出限制 120

Question

我有一个我继承的 hadoop 代码库，我正试图在 EMR 上获得 运行。但是我 运行 遇到了工作计数器的问题。我收到一条错误消息，提示我超出了默认限制 120。我查看了我的代码，发现我有大约 40 个计数器，EMR 添加了另外 30 个内部计数器，但这应该仍在 120 个默认限制内。

我 运行 使用 EMR AMI 2.4.2 版和 Amazon 1.0.3 hadoop 发行版。

• 有没有办法增加限制？我看到了 More than 120 counters in hadoop 。但我不确定如何在 EMR 上进行设置。
• 有什么方法可以让我进行更多调试以弄清楚发生了什么？

Answer 1

您可以提高计数器限制 configuration:

[
  {
    "Classification": "mapred-site",
    "Properties": {
      "mapreduce.job.counters.max:": "1024"
    }
  }
]

这里 Amazon's instructions 介绍了如何将这些指令注册到您的集群。 （我不会直接粘贴在这里，因为有很多方法可以做到这一点，具体取决于您如何创建和使用集群。）