bash 并行循环

Question

我正在尝试运行并行执行此脚本，因为每组中的 i<=4。 runspr.py 本身是并行的，这很好。我想做的是运行ning 在任何情况下都只有 4 个循环。

在我现在的代码中，它将运行一切。

#!bin/bash
for i in *
do 
  if [[ -d $i ]]; then
    echo "$i id dir"
    cd $i
      python3 ~/bin/runspr.py SCF &
  cd ..
  else
    echo "$i nont dir"
  fi
done

我关注了https://www.biostars.org/p/63816/ and https://unix.stackexchange.com/questions/35416/four-tasks-in-parallel-how-do-i-do-that 但无法并行实现代码。

Answer 1

您不需要使用 for 循环。您可以像这样使用 gnu parallel 和 find:

find . -mindepth 1 -maxdepth 1 -type d ! -print0 |
parallel -0 --jobs 4 'cd {}; python3 ~/bin/runspr.py SCF'

Answer 2

另一种可能的解决方案是：

find . -mindepth 1 -maxdepth 1 -type d ! -print0 |
xargs -I {} -P 4 sh -c 'cd {}; python3 ~/bin/runspr.py SCF'

bash 并行循环

bash loop in parallel

bash

gnu-parallel