spark-sql: 如何获取进度条(有阶段和任务)?
spark-sql: How to get the progress bar (with stages and tasks)?
如何在 spark-sql 上获得进度条? spark-shell 得到一个像这样的漂亮的进度条:
[Stage7:===========> (14174 + 5) / 62500]
这个进度条显示了分配的执行者总数,有多少 运行 以及完成了多少。而进度条的长度表示作业的完成百分比。
如果没有这个,我们只能依靠资源管理器 UI 并保持刷新。
spark-sql -S
会显示压缩进度!
如何在 spark-sql 上获得进度条? spark-shell 得到一个像这样的漂亮的进度条: [Stage7:===========> (14174 + 5) / 62500]
这个进度条显示了分配的执行者总数,有多少 运行 以及完成了多少。而进度条的长度表示作业的完成百分比。
如果没有这个,我们只能依靠资源管理器 UI 并保持刷新。
spark-sql -S
会显示压缩进度!