在 Azkaban parallel flows/depedencies 上设置优先级

Question

我使用的是 Azkaban 3.4.1，我的一个流程有 30 多个依赖项。一些依赖比另一个需要更长的时间。所以，我想优先考虑这些流程，使其在另一个流程之前开始。 （因为运行线程有限）

目前并行执行的数量限制为flow.num.job.threads，默认为10。我尝试增加 属性 并确保漫长的过程立即开始，但是 cpu 变得非常高，所以我不确定这是一个好的选择。

Answer 1

使用这个分支 https://github.com/hanip-ss/azkaban/releases/tag/3.4.2。

我现在可以在作业属性文件中添加 job.priority 值。