SGE(Sun Grid Engine)设置和调整
SGE(Sun Grid Engine) Setup and Tuning
我刚刚开始为集群设置 SGE(Sun Grid Engine)。
我有两个集群 Node1 和 Node2,
每个节点有 24vCPU 和 240GB RAM。
问题是我没有使用完整的内存(大约 8%)和 CPU(大约 30%)
我什至认为我每次都使用相同的资源增加程序的线程。
我想知道有没有办法使用更多的内存和CPU灵活?
还有这个调整的起点是什么。
我提交如下,
qsub -l mem_free=200GB -pe olcd 20 test.sh
我使用了 qstat -f -j $jobid。
得到这个
parallel environment: olcd range: 20
usage 1: cpu=04:47:12, mem=30523.46624 GBs, io=0.13225, vmem=505.098M, maxvmem=3.927
尽管我将插槽设置为 20,但看起来只使用了一个 cpu。
我需要提高性能至少找到最佳 运行 时间。
有人知道设置这个 Sun Grid Engine 的好主意吗?
谢谢
您使用 qsub 保留的插槽,即通过 -pe olcd 20
选项,不 反映系统实际使用的插槽。内存的想法相同,mem_free=200GB
。
qsub/SGE 的唯一作用是为作业保留这些资源。消耗这些资源取决于作业。
说了这么多,您提交的作业是否需要使用 20 个线程和 200GB RAM?
我刚刚开始为集群设置 SGE(Sun Grid Engine)。
我有两个集群 Node1 和 Node2,
每个节点有 24vCPU 和 240GB RAM。
问题是我没有使用完整的内存(大约 8%)和 CPU(大约 30%)
我什至认为我每次都使用相同的资源增加程序的线程。
我想知道有没有办法使用更多的内存和CPU灵活? 还有这个调整的起点是什么。
我提交如下,
qsub -l mem_free=200GB -pe olcd 20 test.sh
我使用了 qstat -f -j $jobid。 得到这个
parallel environment: olcd range: 20
usage 1: cpu=04:47:12, mem=30523.46624 GBs, io=0.13225, vmem=505.098M, maxvmem=3.927
尽管我将插槽设置为 20,但看起来只使用了一个 cpu。
我需要提高性能至少找到最佳 运行 时间。
有人知道设置这个 Sun Grid Engine 的好主意吗? 谢谢
您使用 qsub 保留的插槽,即通过 -pe olcd 20
选项,不 反映系统实际使用的插槽。内存的想法相同,mem_free=200GB
。
qsub/SGE 的唯一作用是为作业保留这些资源。消耗这些资源取决于作业。
说了这么多,您提交的作业是否需要使用 20 个线程和 200GB RAM?