哪个作业在哪个节点上运行？

Question

这是一个经常出现并挑战我的 AWK 技能的快速问题。如何列出集群上的所有作业以及分配给它们的节点列表。

类似于：

 JobId          Job Name    State      Hosts
               . . .
 29428   _2.0_cont_7.job        R      fm3/6
 29429   _2.2_cont_7.job        R      fm3/6
 29430   _2.4_cont_8.job        R      fm1/6
 29431   _2.6_cont_8.job        R      fm1/6
 29835           taverna        R   mathserv/40
               . . .

是否有 sinfo 或 qstat 的参数可以提供类似的输出而无需进一步处理？或者什么是好的 perl 或 awk 单线来完成这项工作？

这是我目前的运行

qstat -f | awk \
   '/Job Id/ {job= ; 
        if (s > 0) {printf("%6s\t%16s\t%5s\t%8s\n",job,name,state,host); } s+=1} 
   /exec_host/ {host=} 
   /Job_Name/ {name=} 
   /job_state/ {state = } 
   END {printf("%6s\t%16s\t%5s\t%8s\n",job,name,state,host)}
   BEGIN {printf("%6s\t%16s\t%5s\t%8s\n","JobId","Job Name","State","Hosts")}'

更新

这是 qstat -f 输出的片段：

Job Id: 29835
    Job_Name = taverna
    Job_Owner = meos@taverna
    interactive = True
    job_state = R
    queue = all
    qtime = Wed Apr 10 12:02:10 2019
    mtime = Wed Apr 10 12:02:10 2019
    ctime = Wed Apr 10 18:02:10 2019
    exec_host = mathserv/40
    Priority = 4294873206
    euser = meos(1006)
    egroup = meos(1000)
    Resource_List.walltime = 06:00:00
    Resource_List.nodect = 1
    Resource_List.ncpus = 40

为集群上的每个作业运行ning 打印此类块。

这里的 exec_host 参数标识节点和该节点上的槽数或至少一个节点以及为作业分配的相应槽数。其余参数不言自明。

仅此块的预期输出为

 JobId          Job Name    State      Hosts
 29835           taverna        R   mathserv/40

更新 2

对于任何感兴趣的人，更新原始 AWK 程序以修复一些错误并改进格式。它恰好也适用于 Torque 和 PBS 管理的集群。

qstat -f | awk '/Job Id/ {job= ; 
        if (s > 0) {printf(format,lastjob,user,name,state,host)} ;
        lastjob=job ; s+=1} 
   /exec_host/ {host=} 
   /Job_Name/ {name=} 
   /job_state/ {state = } 
   /Job_Owner/ {user=; sub("@.*","",user)}
   END {printf(format,lastjob,user,name,state,host)}
   BEGIN {format="%10s\t%10s\t%25s\t%5s\t%8s\n";
          printf(format,"JobId","Owner","Job Name","State","Hosts")}'

Answer 1

如果 qstat 手册页上没有您喜欢的内容，那么就像您所做的那样解析输出。

这里是 Perl

qstat -f | perl -wne'
    /Job Id:\s+(.*)/                              && push(@r, [])   or 
    /(?:Job_Name|job_state|exec_host)\s+=\s+(.*)/ && push(@{$r[-1]}, ) 
    }{ 
    printf("%6s\t%16s\t%5s\t%8s\n", ("JobId", "Job Name", "State", "Hosts")
    printf("%6s\t%16s\t%5s\t%8s\n", @$_) for @r'

我在哪里复制你的输出格式。 }{ 语法标记 END 块的开始。

Job Id 行在我们的结果数组 @r 中开始一个新的 arrayref，ID 是它的第一个元素。其他所需字段按出现顺序添加到 @r.

中的最后一个（当前）arrayref

Answer 2

它可以在没有 END 块的情况下完成，因为您的输入和输出顺序相同。宽度为 0 触发换行。

qstat -f | perl -nle'
   BEGIN { 
       @fields=("Job Id",qw( Job_Name job_state exec_host )); 
       @width{@fields}=(6,20,9,0); 
       $"="|"; $re=qr/^\s*(@fields)\s*[:=]\s*(.*\S)/; 
       printf "%$width{$_}s\t",$_ for @fields; print "";
   } 
   printf "%$width{}s\t%s", , $width{}?"":"\n" if /$re/
'

Answer 3

大部分可以直接设置squeue输出格式。 AFAICT，它没有为每个节点单独提供 CPU 用法：

squeue -t R --format="%.20i %.20j %.5t %.5C %R"

示例输出：

               JOBID                 NAME    ST  CPUS NODELIST(REASON)
            18206767 job_TR1_11_run007188     R     1 node05
            18206768 job_TR2_11_run007188     R     1 node13
            18207078 job_T1_11_run007188_     R     1 node24
            18207079 job_T2_11_run007188_     R     1 node14
            18207080 job_T3_11_run007188_     R     1 node17

有关详细信息，请参阅 man squeue 或 https://slurm.schedmd.com/squeue.html。

哪个作业在哪个节点上运行？

Which job runs on which node?

perl

awk

slurm