Python 中的并行处理问题
Parallel Processing Issue in Python
我有一个 python 脚本 A.py 它需要一个带有一些 list of IPs 的目标文件作为参数，并输出一个 CSV 文件，其中包含找到的有关 IP 的信息一些来源。( Run Method : python A.py Input.txt -c Output.csv )。
完成这项工作花了很长时间。后来，我拆分输入文件 ( split -l 1000 Input.txt) -> 创建目录（10 directories） -> 执行脚本，输入在 screen 模式
中并行拆分为 10 个目录
如何高效地完成此类工作？有什么建议吗？
试试这个：
parallel --round --pipepart -a Input.txt --cat python A.py {} -c {#}.csv
如果A.py 可以从 fifo 中读取，那么这会更有效：
parallel --round --pipepart -a Input.txt --fifo python A.py {} -c {#}.csv
如果您的磁盘寻道时间较长，那么使用 --pipe 可能比 --pipepart 更快。
我有一个 python 脚本 A.py 它需要一个带有一些 list of IPs 的目标文件作为参数，并输出一个 CSV 文件，其中包含找到的有关 IP 的信息一些来源。( Run Method : python A.py Input.txt -c Output.csv )。
完成这项工作花了很长时间。后来，我拆分输入文件 ( split -l 1000 Input.txt) -> 创建目录（10 directories） -> 执行脚本，输入在 screen 模式
如何高效地完成此类工作？有什么建议吗？
试试这个：
parallel --round --pipepart -a Input.txt --cat python A.py {} -c {#}.csv
如果A.py 可以从 fifo 中读取，那么这会更有效：
parallel --round --pipepart -a Input.txt --fifo python A.py {} -c {#}.csv
如果您的磁盘寻道时间较长，那么使用 --pipe 可能比 --pipepart 更快。