运行同一程序的多个版本同时出现

Question

我有一个 python 脚本需要一天运行。我需要运行不同参数的相同代码。但是，使用 for 循环遍历所有参数是不可能的，因为这会导致更长的计算时间。这是一个描述情况的简单示例：

ValuesParams=[1,2,3,4,5]
for i in ValuesParams:
     do something
     output file_i.csv

我想要运行 5 个不同的程序（在一个计算机集群中），具有 5 个不同的值，输出 5 个不同名称的不同 csv 文件，但 同时执行时间。因为运行在单个程序中使用 for 循环需要 5 天。 实际上不只是5个参数，程序也不是简单的循环

我该怎么做？任何关于寻找什么的建议或信息都将非常有用。

编辑感谢所有回复，特别是 remram。他们让我找到了答案。

解决方案 1：我创建了一个脚本 RunPrograms.sh，它遍历参数 var1、var2，然后将参数传递给我的 python 脚本 test.py 和运行所有工作的同时。一个限制仍然存在，我必须小心同时发送 1000 个作业，但这正是我需要的。

#!/bin/bash
for var1 in $(seq 1 0.5 3); do
        for var2 in $(seq 1 3); do
                python3 test.py $var1 $var2 &
        done
done

在 python 脚本中：

import sys
a=float(sys.argv[1])
b=float(sys.argv[2])
def Code(a,b)
    do_something

解决方案 2：在 python 脚本中使用多处理和星图来传递多个参数：

def Code(T,K):
    do_something
RangeT=np.linspace(0.01,0.05,num=10)
RangeK=[2,3,4]
Z=list(itertools.product(RangeT, RangeK))
if __name__ == '__main__':  
    pool = Pool(4)
    results = pool.starmap(Code, Z)

Answer 1

您可以使用线程

import threading

def something(arg):
    pass
ValuesParams=[1,2,3,4,5]
for i in ValuesParams:
    thread=threading.Thread(target=something,args=(i,))
    thread.start()

Answer 2

您可以在 Python 代码中使用 ProcessPoolExecutor：

from concurrent.futures.process import ProcessPoolExecutor

ValuesParams=[1,2,3,4,5]
with ProcessPoolExecutor(5) as pool:
    pool.map(do_something, ValuesParams)

或者您可以在 shell 级别工作，并简单地运行您的程序多次使用不同的 command-line 参数，例如使用 parallel:

parallel python myscript.py -- "1" "2" "3" "4" "5"

import sys

i = int(sys.argv[1])
do_something(i)
output file_i.csv

Answer 3

你可以看看.
一个简单的例子是 time head -12 <(yes "1") | xargs -n1 -P4 sleep，它将运行 12 个 sleep 1 命令，4 个并行。该命令需要 3 秒。
首先检查您想要运行ning 并行的进程数（我认为全部 5 个，但也许您想从 3 个开始）。在你的情况下，当你想要程序 program1 .. program5 运行最多 3 个并行时，使用：

printf "%s\n" {1..5} | xargs -I"{}" -P3 bash -c 'program{} > file_{}.csv'

当你想先测试上面的内容时，使用

echo "Start at $(date +%S)"; printf "%s\n" {1..5} | 
xargs -I"{}" -P3 bash -c 'sleep 2; echo "program {} finished at $(date +%S)" | tee file_{}.csv'

运行同一程序的多个版本同时出现

Run multiple versions of the same program at the same time

python

bash

performance

cluster-computing

python-3.x

运行 同一程序的多个版本同时出现

Run multiple versions of the same program at the same time

python

bash

performance

cluster-computing

python-3.x

运行同一程序的多个版本同时出现