测量 Hadoop Mapreduce 作业的总运行时间
Measure Total Runtime of Hadoop Mapreduce Job
我想测量我的 MapReduce 程序的总执行时间,从我 运行 我的程序从终端使用 hadoop -jar 等直到它完成。我可以像在 driver main class 的开始和结束时使用 Java System.currentTimeMillis 那样做,然后只做 end-start 吗?
我不确定它会在完全分布式模式下输出正确的执行时间。有没有更好的办法?我不想使用任何工具,我想要这个执行时间的 return 值。非常感谢:)
对于任何有相同问题的人,我已经通过自己的实验得到了答案。所以答案是肯定的,你可以在主要 class.
的开始和结束时使用 currentTimeMillis
我想测量我的 MapReduce 程序的总执行时间,从我 运行 我的程序从终端使用 hadoop -jar 等直到它完成。我可以像在 driver main class 的开始和结束时使用 Java System.currentTimeMillis 那样做,然后只做 end-start 吗? 我不确定它会在完全分布式模式下输出正确的执行时间。有没有更好的办法?我不想使用任何工具,我想要这个执行时间的 return 值。非常感谢:)
对于任何有相同问题的人,我已经通过自己的实验得到了答案。所以答案是肯定的,你可以在主要 class.
的开始和结束时使用 currentTimeMillis