Spark/Yarn：在一段时间内缓慢增加执行者数量
Spark/Yarn: Ramp up number of executors slowly over a period of time
我有一个 Spark 作业要 运行 在一个由 Yarn 管理的集群上（启用了动态分配）。我的工作需要通过点击一些公司内部的 REST APIs 来处理数据（这不是可选的）。 API 团队告诉我他们可以自动扩展到大量并发请求，但他们需要一些时间来扩展。所以他们要求我限制我的 Spark 作业产生的 requests/sec 的增长率。
有什么简单的方法可以让 Spark 在预定义的时间段内 "ramp up" 执行器的数量均匀分布？
From the Spark Docs，您可以通过 spark.dynamicAllocation.schedulerBacklogTimeout 和 spark.dynamicAllocation.sustainedSchedulerBacklogTimeout 降低请求新执行程序的速度。不过，这感觉有点像黑客。
我有一个 Spark 作业要 运行 在一个由 Yarn 管理的集群上（启用了动态分配）。我的工作需要通过点击一些公司内部的 REST APIs 来处理数据（这不是可选的）。 API 团队告诉我他们可以自动扩展到大量并发请求，但他们需要一些时间来扩展。所以他们要求我限制我的 Spark 作业产生的 requests/sec 的增长率。
有什么简单的方法可以让 Spark 在预定义的时间段内 "ramp up" 执行器的数量均匀分布？
From the Spark Docs，您可以通过 spark.dynamicAllocation.schedulerBacklogTimeout 和 spark.dynamicAllocation.sustainedSchedulerBacklogTimeout 降低请求新执行程序的速度。不过，这感觉有点像黑客。