SLURM / Sbatch 创建许多小输出文件

SLURM / Sbatch creates many small output files

我是 运行 SLURM 集群上的管道,出于某种原因,许多较小的文件(大小在 500 到 2000 字节之间)沿 slurm-XXXXXX.out 的行命名(其中XXXXXX 是一个数字)。我试图在 SLURM 网站上找出这些文件的内容,但找不到任何提及它们的信息。我假设它们是系统在解析我的管道时使用的某种正在进行的文件?

如果重要的话,我 运行 正在使用 snakemake 的管道。我知道我以前见过这些类型的文件,但没有 snakemake,但我当时认为它们不是什么大问题。我担心在工作流程的每一步之后清除这些文件的工作目录会中断正在进行的步骤,所以我现在没有对它们做任何事情。

这些文件是什么?我怎样才能抑制它们的输出,或者在相应的工作完成后删除它们?我是否以某种方式搞砸了我的工作流程,这就是创建它们的原因?

您可能需要查看 sbatch 文档。您所指的文件本质上是 SLURM 日志,如此处所述:

By default both standard output and standard error are directed to a file of the name "slurm-%j.out", where the "%j" is replaced with the job allocation number.

您可以使用 --error=<filename pattern>--output=<filename pattern> 命令行选项更改文件名。 filename_pattern 可以有一个或多个将被替换的符号,如 documentation. According to the FAQs 中所述,您应该能够通过使用以下命令行选项来抑制标准输出和标准错误:

sbatch --output=/dev/null --error=/dev/null [...]