如何测量 Spark GraphX 应用程序的执行时间?

How to measure execution time of Spark GraphX application?

使用 Graphx 查找程序总执行时间的最可靠方法是什么,最好使用历史服务器还是在程序中使用带有 System.currentTimeMillis() 或其他变量的变量?

测量 Spark GraphX 应用程序的执行时间与测量任何其他 Spark 应用程序的性能没有什么不同。

我强烈建议在 Spark 应用程序启动时使用 Web UI,然后 运行 和 Spark History Server。

你也可以使用 SparkListener 构建类似于 web UI 的东西(毕竟 web UI 只是一堆 SparkListeners)。

System.currentTimeMillis() 也可以,但如果几乎所有(如果不是全部?)已经在 Spark 中可用,为什么还要重新发明轮子?