Python 多处理、重启时无法终止进程和防止僵尸
Python Multiprocessing, Trouble Terminating Processes on Restart and Preventing Zombies
解法:
感谢 Rick Sanders,在终止进程后添加此函数解决了问题:
僵尸进程在进程终止时创建,除非它们被收割(通过请求退出代码)。它们保留的目的是父级可以请求它的退出代码,并且由于我的脚本没有真正退出,它的进程被 execv(file, args)
替换,父级从不请求退出代码并且僵尸进程被保留。这适用于我的 OSX 和 Debian 系统。
我正在处理一个非常大的脚本,并且最近实现了多处理和 IMAP 来侦听电子邮件。在我实现这个之前,我已经实现了一个重启命令,我可以在命令行输入它来在编辑后刷新脚本,简而言之它是这样做的:
if ipt = ':rs':
execv(__file__)
不过,它会临时打印出一堆废话。
我在另一个对象中也有一个进程 运行,它在 While 循环中侦听 Google 的 IMAP 服务器,如下所示:
While True:
mail = imaplib.IMAP4_SSL('imap.gmail.com')
mail.login('myemail@gmail', 'mypassword')
mail.list()
mail.select("inbox")
result, data = mail.uid('search', None, 'All')
latest_email_uid = data[0].split()[-1] #grabs the most recent email by
#unique id number
if int(latest_email_uid) != int(last_email_uid): # set earlier from sql
# database
# do stuff with the mail
else:
continue
通过看top,我注意到我在重启时正在创建僵尸,所以我创建了一个终止函数:
def process_terminator(self):
self.imap_listener.terminate()
我从重启时调用了它:
if ipt == ':rs':
self.process_object.terminate()
execv(__file__)
但是,僵尸进程仍然存在。因此,经过几个小时的工作,我意识到在调用函数后添加一个 time.sleep 句点并将局部变量设置为进程的退出代码或打印进程的退出代码将允许进程终止,即使它只有 0.1 秒:
if ipt == ':rs':
self.process_object.terminate()
time.sleep(.1)
print(self.process_object.imap_listener.exitcode)
execv(__file__)
虽然在 OSX 中不是这种情况,但只需执行一个进程的 .terminate() 函数即可结束该进程,但是在我的 debian 机器上,我必须有一个 sleep(n) 周期并且必须以某种形式或方式引用进程的退出代码以防止它僵尸化。
我也尝试过使用 .join,尽管这会挂断我的整个脚本。我曾尝试创建变量以使进程在(例如)self.terminated = 1 时中断其 while 循环,然后加入,但这也不起作用。
我在 运行 exec('quit') 时没有这个问题,只要我终止然后处理,.join() 就不起作用。
有人可以指出我的任何误解吗?我已经尝试进行自己的研究,但没有找到足够的解决方案,并且我知道不应明确终止进程,因为它们不会很好地退出,但经过数小时的工作后我没有找到其他方法。
抱歉,我没有更多代码可以提供,如果需要,我会尽力提供更多,这些只是我脚本(1000 多行)中相关代码的片段。
您可以从这里开始:https://en.wikipedia.org/wiki/Zombie_process。父进程必须在子进程退出时收割它的子进程,例如使用 waitpid():
等待特定的子进程终止,returns 已死亡进程的 pid,如果没有这样的子进程,则为 -1。在某些系统上,值为 0 表示仍有进程 运行。
解法:
感谢 Rick Sanders,在终止进程后添加此函数解决了问题:
僵尸进程在进程终止时创建,除非它们被收割(通过请求退出代码)。它们保留的目的是父级可以请求它的退出代码,并且由于我的脚本没有真正退出,它的进程被 execv(file, args)
替换,父级从不请求退出代码并且僵尸进程被保留。这适用于我的 OSX 和 Debian 系统。
我正在处理一个非常大的脚本,并且最近实现了多处理和 IMAP 来侦听电子邮件。在我实现这个之前,我已经实现了一个重启命令,我可以在命令行输入它来在编辑后刷新脚本,简而言之它是这样做的:
if ipt = ':rs':
execv(__file__)
不过,它会临时打印出一堆废话。
我在另一个对象中也有一个进程 运行,它在 While 循环中侦听 Google 的 IMAP 服务器,如下所示:
While True:
mail = imaplib.IMAP4_SSL('imap.gmail.com')
mail.login('myemail@gmail', 'mypassword')
mail.list()
mail.select("inbox")
result, data = mail.uid('search', None, 'All')
latest_email_uid = data[0].split()[-1] #grabs the most recent email by
#unique id number
if int(latest_email_uid) != int(last_email_uid): # set earlier from sql
# database
# do stuff with the mail
else:
continue
通过看top,我注意到我在重启时正在创建僵尸,所以我创建了一个终止函数:
def process_terminator(self):
self.imap_listener.terminate()
我从重启时调用了它:
if ipt == ':rs':
self.process_object.terminate()
execv(__file__)
但是,僵尸进程仍然存在。因此,经过几个小时的工作,我意识到在调用函数后添加一个 time.sleep 句点并将局部变量设置为进程的退出代码或打印进程的退出代码将允许进程终止,即使它只有 0.1 秒:
if ipt == ':rs':
self.process_object.terminate()
time.sleep(.1)
print(self.process_object.imap_listener.exitcode)
execv(__file__)
虽然在 OSX 中不是这种情况,但只需执行一个进程的 .terminate() 函数即可结束该进程,但是在我的 debian 机器上,我必须有一个 sleep(n) 周期并且必须以某种形式或方式引用进程的退出代码以防止它僵尸化。
我也尝试过使用 .join,尽管这会挂断我的整个脚本。我曾尝试创建变量以使进程在(例如)self.terminated = 1 时中断其 while 循环,然后加入,但这也不起作用。
我在 运行 exec('quit') 时没有这个问题,只要我终止然后处理,.join() 就不起作用。
有人可以指出我的任何误解吗?我已经尝试进行自己的研究,但没有找到足够的解决方案,并且我知道不应明确终止进程,因为它们不会很好地退出,但经过数小时的工作后我没有找到其他方法。
抱歉,我没有更多代码可以提供,如果需要,我会尽力提供更多,这些只是我脚本(1000 多行)中相关代码的片段。
您可以从这里开始:https://en.wikipedia.org/wiki/Zombie_process。父进程必须在子进程退出时收割它的子进程,例如使用 waitpid():
等待特定的子进程终止,returns 已死亡进程的 pid,如果没有这样的子进程,则为 -1。在某些系统上,值为 0 表示仍有进程 运行。