中断 GNU Parallel 后如何将 KeyboardInterrupt 提高到 Python 脚本？

Question

我正在使用 GNU Parallel to 运行一个 Python 脚本来获取不同参数的列表。在 Python 脚本中，我正在将数据写入文件（实际上，文件名就是脚本参数）。 Python 脚本在处理 N 次试验后将数据写入文件，其中 N 是另一个参数。因此，在所有试验完成之前不会写入数据。但是通过试验的时间可能会因许多测试参数而异。出于这个原因，如果脚本对于特定参数集花费的时间太长，脚本允许我引发 KeyboardInterrupt 错误 (Ctrl+C) 并在终止之前写入到目前为止获得的数据。

但是，通过使用 GNU Parallel，使用 Ctrl+C 将终止并行命令，并完全停止 Python 作业，因此到目前为止没有数据被写入。

是否可以在这些 Python 脚本中引发 KeyboardInterrupt 以让它们在并行被终止之前完成错误处理？理想情况下，它会像 1. 执行 parallel python script.py ::: args，2. 一段时间后，使用 Ctrl+C 取消，3. Parallel 告诉 Python 脚本查看 KeyboardInterrupt（或任何错误，它没关系）并且并行暂停等待 Python 个作业完成处理，4. 并行终止，5. 我有包含当时获得的数据的文件。

注意：我想要一个不要求重写Python脚本的数据写入方法的答案。

Answer 1

我相信您正在寻找 --termseq。 myprog.pl:

#!/usr/bin/perl

$SIG{'TERM'} = sub { print "TERM received. Flush files.\n"; sleep(1); };

sleep(100);

现在运行:

parallel --termseq TERM,2000,KILL,20 -u ./myprog.pl ::: 1 2 3

当 GNU Parallel 接收到 ctrl-c 时，它将发送 SIGTERM 到 child，等待 2000 毫秒，如果 child还活着杀了child.

稍等几秒后按ctrl-c

如果您完全确定 Python 程序会在收到 SIGTERM 后退出，那么您可以删除 ,KILL,20。如果 Python 程序由于某种原因卡住，这只是一个回退。

中断 GNU Parallel 后如何将 KeyboardInterrupt 提高到 Python 脚本？

How to Raise KeyboardInterrupt to Python Scripts After Interrupting GNU Parallel?

python

bash

raise

interrupt-handling

gnu-parallel