为列表中的每个项目执行 bash 脚本

Question

我有一个包含 URLs

的文本文件

http://example.com/1
http://example.com/2

等等

我有一个 bash 脚本，它将 URL 作为 $1 并使用它。 我想自动化它，我已经尝试过

cat urls.txt | xargs -P0 bash -c myscript.sh

但是 结果是空的。

Answer 1

我建议你使用 read 和 while 循环，这里是一个例子：

#!/bin/bash

while read -r line      # read a line from file.
do
  echo "$line"
  ./myscript.sh "$line"             # pass a line to the script
done < urls.txt                  

Answer 2

您不需要 -c（或 cat）：

xargs -P0 bash myscript.sh < urls.txt

---

-c 将字符串参数用作命令，例如，

$ bash -c 'echo foo'
foo

当使用 -c 时，命令字符串后的下一个参数用作 [=17=] 的值，而不是 </code>:</p> <pre><code>$ bash -c 'echo Command: [=12=]; echo Arg: ' zeroth first Command: zeroth Arg: first

Answer 3

GNU Parallel 看起来像这样：

cat urls.txt | parallel -j0 ./myscript.sh

GNU Parallel 是一个通用的并行器，可以很容易地在同一台机器或您可以通过 ssh 访问的多台机器上并行 运行 作业。它通常可以代替 for 循环。

如果您有 32 个不同的作业要 运行 在 4 CPU 秒内执行，一个直接的并行化方法是 运行 每个 CPU 8 个作业:

GNU Parallel 在一个进程完成时生成一个新进程 - 保持 CPU 处于活动状态，从而节省时间：

安装

如果 GNU Parallel 未打包用于您的发行版，您可以进行个人安装，这不需要 root 访问权限。这样做可以在 10 秒内完成：

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash

有关其他安装选项，请参阅 http://git.savannah.gnu.org/cgit/parallel.git/tree/README

了解更多

查看更多示例：http://www.gnu.org/software/parallel/man.html

观看介绍视频：https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

完成教程：http://www.gnu.org/software/parallel/parallel_tutorial.html

注册电子邮件列表以获得支持：https://lists.gnu.org/mailman/listinfo/parallel