缺少资源时,火花作业会等待纱线资源多长时间?
How long will a spark job wait for resource from yarn when lack of resources?
当 Spark 作业无法获得足够的资源来启动时,它会挂在那里等待。
还要等多久?如何控制挂起的火花作业的超时?
谢谢
在 YARN 下,作业可以无限期挂起等待资源。但是,由于大型任务通常会分解成较小的任务,因此它们通常不会被阻塞,除非最小的任务超过最大容器限制。
当 Spark 作业无法获得足够的资源来启动时,它会挂在那里等待。
还要等多久?如何控制挂起的火花作业的超时?
谢谢
在 YARN 下,作业可以无限期挂起等待资源。但是,由于大型任务通常会分解成较小的任务,因此它们通常不会被阻塞,除非最小的任务超过最大容器限制。