如何告诉 slurm 为多个提交缓存配置文件

Question

我有三个脚本：

config.yaml 和 script.py 和 slurm.sh

我正在使用调用 script.py 文件的 slurm.sh 文件将作业提交给 Slurm 中的作业调度程序，并且 script.py 文件从 config.yaml 文件.

看起来像这样：

sbatch slurm.sh

现在，我更改 config.yaml 并提交另一份作业。但是，如果两个作业都在队列中，config.yaml 文件将被覆盖并且两个作业将使用相同的配置。

有什么方法可以让 slurm 调度程序也缓存 config.yaml 文件吗？我知道它不适用于 slurm.sh 文件。

Answer 1

没有办法做到这一点。您应该在提交前修改您的脚本 (.sh) 以指向正确的配置文件，并根据需要创建尽可能多的配置文件。

另一种选择是在提交之前将配置文件条目转换为命令行参数（如果可能），并提交具有完全配置的命令行的脚本（因此无需读取 .yaml 文件）。