在 MapReduce 中访问 Hadoop 计数器

Question

我在从其他配置访问计数器时遇到问题。在 java 上实施 map reduce 时，是否有任何方法可以从不同的配置访问 Hadoop 计数器，或者计数器配置是否特定？

Answer 1

计数器分为两层。职位级别和任务级别。

如果要跟踪作业级别的聚合，则需要使用配置和上下文对象。

如果你想在task层面统计，比如你想统计map方法被调用的次数，你可以在Mapper方法中声明一个全局变量，在map方法调用的时候自增，这样写清除方法中的上下文对象。