如何在GridGain In-Memoru Accelerator中获取Hadoop内置计数器？

Question

当运行使用 GridGain 加速器的 mapreduce 作业时，可以获得 Hadoop 计数器吗？我可以使用自己制作的自定义计数器，但似乎内置的 Hadoop 不存在。

作为我正在尝试做的事情的一个例子，这里有一些我用来打印计数器的代码：

Counters counters = job.getCounters();

for (CounterGroup group : counters) {
        System.out.println("Group: " + group.getDisplayName() + "," + group.getName());
        System.out.println("  number of counters: " + group.size());
        for (Counter counter : group) {
            System.out.println("  - " + counter.getDisplayName() + ": " + counter.getName() + ": "+counter.getValue());
        }
}

感谢关注！！！

Answer 1

在 GridGain Hadoop Accelerator 中，您获得的计数器是空的，因为 GG 在其自己的 map-reduce 引擎中运行作业，而不是 Hadoop 引擎，因此内置的 Hadoop 计数器不可用。 Hadoop org.apache.hadoop.mapred.LocalJobRunner 有 map-reduce 进度计数器，但在 GG map-reduce 引擎中，map-reduce 作业进度计数器没有实现。您可以向 Ignite 项目 (https://issues.apache.org/jira/browse/IGNITE) 提交票证来实施它。

如何在GridGain In-Memoru Accelerator中获取Hadoop内置计数器？

How to get Hadoop built-in Counters in GridGain In-Memoru Accelerator?

hadoop

gridgain