处理 SLURM 中的文件列表

Question

我是 SLURM 的新手。我想并行处理一长串文件。具体来说，我有一个脚本来处理单个 like

./process.sh filename

现在我想处理文件列表中的许多文件，例如

file1
file2
file3
...
file10000

如何使用 SLURM 并行处理文件列表（即使用 16 个 CPU）？

Answer 1

也许您可以使用 --array 选项。例如，如果您的计算节点是共享的，则以下作业脚本应该接近您想要执行的操作。

#SBATCH -J JOBNAME
#SBATCH -o JOBNAME.%J.stdout
#SBATCH -e JOBNAME.%J.stderr
#SBATCH -n 1
#SBATCH --array 1-10000

./process.sh file${SLURM_ARRAY_TASK_ID}