在 LSF 中提交作业数组

Question

我有 12 个文件夹，每个文件夹都包含一个 R 同名文件（例如，file.R）。文件夹的名称是 m1、m2、...、m12。为了运行每个文件，我在每个文件夹运行bsub -n 2 -q long -W 12:00 -R "rusage[mem=25000]" -M 25000 -hl R CMD BATCH file.R。有没有办法运行它作为 LSF submission system 中的 job array 使用 bsub？谢谢。

Answer 1

Is there a way to run it as a job array in the LSF submission system using bsub?

是的。使用 -J "[1-12]" 到运行数组作业。该作业将运行 12 个实例。您需要编写一个简单的脚本来正确设置 CWD，然后启动 R。这样的事情应该有效。实例编号可通过环境变量 $LSB_JOBINDEX.

获得

$ cat runjob.sh 
#!/bin/sh

cd m${LSB_JOBINDEX}
exec R CMD BATCH file.R

然后像这样提交你的工作

$ bsub -n 2 -q long -W 12:00 -R "rusage[mem=25000]" -M 25000 -hl -J "[1-12]" sh runjob.sh 
Job <1164> is submitted to queue <long>.

在 LSF 中提交作业数组

submit job arrays in LSF

terminal

jobs

r

lsf