自动化 slurm `sbatch`

Question

故事是这样的，我正在尝试运行不同参数下的模拟。为了运行其中之一，需要以下.sh（最小示例）。

大约需要1000次不同的模拟，只是参数不同而已。我可以手动执行此操作，但我认为必须有更简单的方法。

期望的行为是尽可能一次提交所有作业。

单独提交它们的动机是利用 HPC 的强大功能，以便我可以同时运行所有模拟。（我在我们的服务器中没有这个 normal partition 作业的上限）

#!/bin/bash
#SBATCH --job-name=fastTest
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=20
#SBATCH --mem-per-cpu=3gb
#SBATCH --time=10:00:00
#SBATCH --account=***
#SBATCH --partition=normal
#SBATCH --output=%x.out
#SBATCH --mail-type=ALL
#SBATCH --mail-user=***

#######./a.out is a c program, the following are the arguments(parameters) passed to ./a.out.#### 

./a.out fileToSample.txt fileNameToSave.txt exam.txt 0.7 926

感谢您的宝贵时间。感谢所有建议或帮助。

Answer 1

听起来 job arrays 可能就是您所需要的。

自动化 slurm `sbatch`

Automating slurm `sbatch`

c

linux

slurm

hpc