Spark on Yarn：如何防止安排多个 Spark 作业
Spark on Yarn: How to prevent multiple spark jobs being scheduled
纱线上的火花 - 我看不到防止安排并发作业的方法。我有我的架构设置来进行纯批处理。
出于以下原因我需要它：
- 资源限制
- Spark 的 UserCache 增长非常快。拥有多个作业 运行 会导致缓存 space 激增。
理想情况下，我很想看看是否有一个配置可以确保在 Yarn 上任何时候都只有一项工作 运行。
您可以运行 创建一个队列，该队列只能托管一个应用程序主机，运行 该队列上的所有 Spark 作业。因此，如果一个 Spark 作业正在 运行ning，另一个将被接受，但它们不会被调度并且 运行ning 直到 运行ning 执行完成...
终于找到了解决方案 - 在 yarn 文档中：yarn.scheduler.capacity.max-applications 必须设置为 1 而不是 10000。
纱线上的火花 - 我看不到防止安排并发作业的方法。我有我的架构设置来进行纯批处理。
出于以下原因我需要它：
- 资源限制
- Spark 的 UserCache 增长非常快。拥有多个作业 运行 会导致缓存 space 激增。
理想情况下，我很想看看是否有一个配置可以确保在 Yarn 上任何时候都只有一项工作 运行。
您可以运行 创建一个队列，该队列只能托管一个应用程序主机，运行 该队列上的所有 Spark 作业。因此，如果一个 Spark 作业正在 运行ning，另一个将被接受，但它们不会被调度并且 运行ning 直到 运行ning 执行完成...
终于找到了解决方案 - 在 yarn 文档中：yarn.scheduler.capacity.max-applications 必须设置为 1 而不是 10000。