从文件中卷曲一个 URL 列表并使用并行使其更快
Curl a URL list from a file and make it faster with parallel
现在我正在使用以下代码：
while read num;
do M=$(curl "myurl/$num")
echo "$M"
done < s.txt
其中 s.txt 包含 url.
的一部分的列表（每行 1 个）
假设 curl 是 运行ning 顺序是否正确？
还是一次 运行 在 thread/jobs/multiple conn 中连接？
我在网上找到了这个：
parallel -k curl -s "http://example.com/locations/city?limit=100\&offset={}" ::: $(seq 100 100 30000) > out.txt
问题是我的序列来自文件或变量（每行一个元素），我无法根据需要调整它
我还没有完全理解如何将列表传递给并行
我是否应该保存列表中的所有 curl 命令并使用 parallel -a 运行 它？
此致，
parallel -j100 -k curl myurl/{} < s.txt
考虑花一个小时步行穿过 man parallel_tutorial。您的命令行会因此爱上您。
现在我正在使用以下代码：
while read num;
do M=$(curl "myurl/$num")
echo "$M"
done < s.txt
其中 s.txt 包含 url.
的一部分的列表（每行 1 个）假设 curl 是 运行ning 顺序是否正确？ 还是一次 运行 在 thread/jobs/multiple conn 中连接？
我在网上找到了这个：
parallel -k curl -s "http://example.com/locations/city?limit=100\&offset={}" ::: $(seq 100 100 30000) > out.txt
问题是我的序列来自文件或变量（每行一个元素），我无法根据需要调整它
我还没有完全理解如何将列表传递给并行
我是否应该保存列表中的所有 curl 命令并使用 parallel -a 运行 它？
此致，
parallel -j100 -k curl myurl/{} < s.txt
考虑花一个小时步行穿过 man parallel_tutorial。您的命令行会因此爱上您。