如何测量 Spark GraphX 应用程序的执行时间?
How to measure execution time of Spark GraphX application?
使用 Graphx 查找程序总执行时间的最可靠方法是什么,最好使用历史服务器还是在程序中使用带有 System.currentTimeMillis()
或其他变量的变量?
测量 Spark GraphX 应用程序的执行时间与测量任何其他 Spark 应用程序的性能没有什么不同。
我强烈建议在 Spark 应用程序启动时使用 Web UI,然后 运行 和 Spark History Server。
你也可以使用 SparkListener 构建类似于 web UI 的东西(毕竟 web UI 只是一堆 SparkListeners)。
System.currentTimeMillis()
也可以,但如果几乎所有(如果不是全部?)已经在 Spark 中可用,为什么还要重新发明轮子?
使用 Graphx 查找程序总执行时间的最可靠方法是什么,最好使用历史服务器还是在程序中使用带有 System.currentTimeMillis()
或其他变量的变量?
测量 Spark GraphX 应用程序的执行时间与测量任何其他 Spark 应用程序的性能没有什么不同。
我强烈建议在 Spark 应用程序启动时使用 Web UI,然后 运行 和 Spark History Server。
你也可以使用 SparkListener 构建类似于 web UI 的东西(毕竟 web UI 只是一堆 SparkListeners)。
System.currentTimeMillis()
也可以,但如果几乎所有(如果不是全部?)已经在 Spark 中可用,为什么还要重新发明轮子?