如何在 apache crunch 中使用计数器
How to use Counters in apache crunch
在 Apache Crunch 中，有一个名为 increment("any enum") 的方法。
我使用了 increment(TOTAL_IDS);，但是在我可以看到计数器结果的地方，作业完成后计数器没有出现在日志中。
我错过了什么？
您应该能够在 mapreduce 作业的跟踪 URL 中看到您的计数器（如果您是 运行 mapreduce）或从管道中提取计数器。如果您可以提供您的代码如何递增计数器，那将会很有用吗？它在你的 DoFn 中，在你的 cleanp 方法中吗？
此致
在 Apache Crunch 中，有一个名为 increment("any enum") 的方法。
我使用了 increment(TOTAL_IDS);，但是在我可以看到计数器结果的地方，作业完成后计数器没有出现在日志中。
我错过了什么？
您应该能够在 mapreduce 作业的跟踪 URL 中看到您的计数器（如果您是 运行 mapreduce）或从管道中提取计数器。如果您可以提供您的代码如何递增计数器，那将会很有用吗？它在你的 DoFn 中，在你的 cleanp 方法中吗？
此致