Spark UI 输出操作持续时间与作业持续时间：有何区别？
Spark UI Output Op Duration vs Job Duration: What's the difference?
在 Spark UI 页面上，列的区别是什么："Output Op Duration" 和 "Job Duration"？
来自火花 mailing list:
"表示运行一个batch的总时间，包括Spark作业时长+
在 driver 上花费的时间。例如，
foreachRDD { rdd =>
rdd.count() // say this takes 1 second.
Thread.sleep(10000) // sleep 10 seconds
}
上例中Spark作业时长为1秒，输出op
持续时间为 11 秒。"
在 Spark UI 页面上，列的区别是什么："Output Op Duration" 和 "Job Duration"？
来自火花 mailing list:
"表示运行一个batch的总时间，包括Spark作业时长+ 在 driver 上花费的时间。例如，
foreachRDD { rdd =>
rdd.count() // say this takes 1 second.
Thread.sleep(10000) // sleep 10 seconds
}
上例中Spark作业时长为1秒，输出op 持续时间为 11 秒。"