在调度程序池上提交 Spark 作业
Submitting Spark Job On Scheduler Pool
我正在 运行集群模式下执行 spark 流作业，我创建了一个内存为 200GB(CDH) 的池。我想 运行 在那个池上进行我的 spark streaming 作业，我尝试设置
sc.setLocalProperty("spark.scheduler.pool", "pool")
在代码中，但它不起作用，我也尝试了
spark.scheduler.pool seems not working in spark streaming，每当我 运行 作业进入默认池时。可能的问题是什么？我可以在提交作业时添加任何配置吗？
在 yarn 中我们可以添加
--conf spark.yarn.queue="que_name"
到 spark-submit 命令。然后它将仅使用该特定队列及其资源。
我 运行 遇到了与 Spark 2.4 相同的问题。就我而言，通过删除我的 Spark 配置中的默认 "spark.scheduler.pool" 选项解决了问题。
我将问题追溯到 Spark 中的一个错误 - https://issues.apache.org/jira/browse/SPARK-26988。问题是，如果您在基本配置中设置配置 属性 "spark.scheduler.pool"，则无法使用 setLocalProperty 覆盖它。从基本配置中删除它使其正常工作。有关详细信息，请参阅错误描述。
我正在 运行集群模式下执行 spark 流作业，我创建了一个内存为 200GB(CDH) 的池。我想 运行 在那个池上进行我的 spark streaming 作业，我尝试设置
sc.setLocalProperty("spark.scheduler.pool", "pool")
在代码中，但它不起作用，我也尝试了 spark.scheduler.pool seems not working in spark streaming，每当我 运行 作业进入默认池时。可能的问题是什么？我可以在提交作业时添加任何配置吗？
在 yarn 中我们可以添加
--conf spark.yarn.queue="que_name"
到 spark-submit 命令。然后它将仅使用该特定队列及其资源。
我 运行 遇到了与 Spark 2.4 相同的问题。就我而言，通过删除我的 Spark 配置中的默认 "spark.scheduler.pool" 选项解决了问题。
我将问题追溯到 Spark 中的一个错误 - https://issues.apache.org/jira/browse/SPARK-26988。问题是，如果您在基本配置中设置配置 属性 "spark.scheduler.pool"，则无法使用 setLocalProperty 覆盖它。从基本配置中删除它使其正常工作。有关详细信息，请参阅错误描述。