SGE(Sun Grid Engine)设置和调整

SGE(Sun Grid Engine) Setup and Tuning

我刚刚开始为集群设置 SGE(Sun Grid Engine)。

我有两个集群 Node1 和 Node2,

每个节点有 24vCPU 和 240GB RAM。

问题是我没有使用完整的内存(大约 8%)和 CPU(大约 30%)

我什至认为我每次都使用相同的资源增加程序的线程。

我想知道有没有办法使用更多的内存和CPU灵活? 还有这个调整的起点是什么。

我提交如下,

qsub -l mem_free=200GB -pe olcd 20 test.sh

我使用了 qstat -f -j $jobid。 得到这个

parallel environment:  olcd range: 20
usage    1:                 cpu=04:47:12, mem=30523.46624 GBs, io=0.13225, vmem=505.098M, maxvmem=3.927

尽管我将插槽设置​​为 20,但看起来只使用了一个 cpu。

我需要提高性能至少找到最佳 运行 时间。

有人知道设置这个 Sun Grid Engine 的好主意吗? 谢谢

您使用 qsub 保留的插槽,即通过 -pe olcd 20 选项, 反映系统实际使用的插槽。内存的想法相同,mem_free=200GB

qsub/SGE 的唯一作用是为作业保留这些资源。消耗这些资源取决于作业。

说了这么多,您提交的作业是否需要使用 20 个线程和 200GB RAM?