Spark 工作调度
Spark work scheduling
场景：RDD 中的大量对象集合，然后是昂贵的 map 函数，然后是 collect。
地图功能需要不同的时间。
我假设分区最初是在工作人员之间平均分配的。
如果一个 worker 碰巧得到很多较慢的分区，会发生什么情况，其他节点会从过度工作的节点中获取分区吗？
打开猜测以解决此问题。您可以观看此视频：https://www.youtube.com/watch?v=HG2Yd-3r4-M 从第 34 分钟到第 56 分钟，以深入了解其工作原理。
希望对您有所帮助，
乐国岛
场景：RDD 中的大量对象集合，然后是昂贵的 map 函数，然后是 collect。
地图功能需要不同的时间。
我假设分区最初是在工作人员之间平均分配的。
如果一个 worker 碰巧得到很多较慢的分区，会发生什么情况，其他节点会从过度工作的节点中获取分区吗？
打开猜测以解决此问题。您可以观看此视频：https://www.youtube.com/watch?v=HG2Yd-3r4-M 从第 34 分钟到第 56 分钟，以深入了解其工作原理。
希望对您有所帮助，
乐国岛