Python: multiprocessing单锁死锁

Question

我正在使用 pyserial 通过多处理获取数据。我共享数据的方式非常简单。所以：

我的 class 中有成员对象：

self.mpManager = mp.Manager()
self.shared_return_list = self.mpManager.list()
self.shared_result_lock = mp.Lock()

我这样称呼我的多处理过程：

process = mp.Process(target=do_my_stuff, 
args=(self.shared_stopped, self.shared_return_list, self.shared_result_lock)
)

其中 do_my_stuff 是全局函数。

现在进程函数中填表的部分：

if len(acqBuffer) > acquisitionSpecs["LengthToPass"]:
    shared_lock.acquire()
    shared_return_list.extend(acqBuffer)
    del acqBuffer[:]
    shared_lock.release()

将其带到本地线程使用的部分是：

while len(self.acqBuffer) <= 0 and (not self.stopped):
    #copy list from shared buffer and empty it
    self.shared_result_lock.acquire()
    self.acqBuffer.extend(self.shared_return_list)
    del self.shared_return_list[:]
    self.shared_result_lock.release()

问题:

虽然只有 1 个锁，但我的程序偶尔会以某种方式死锁！等了一段时间后，我的程序冻结了。在锁前后添加打印后，我发现它卡在一个锁上，莫名其妙就死锁了。

如果我使用递归锁，RLock()，它可以正常工作。不确定我是否应该这样做。

这怎么可能？难道我做错了什么？我希望如果两个进程都尝试获取锁，它们应该阻塞直到另一个进程解锁锁。

Answer 1

没有 SSCCE，很难知道您的代码中是否还有其他问题。

一种可能是获取锁后抛出异常。尝试将每个锁定的部分包装在 try/finally 子句中。例如

try:
    shared_lock.acquire()
    shared_return_list.extend(acqBuffer)
    del acqBuffer[:]
finally:
    shared_lock.release()

和：

try:
    self.shared_result_lock.acquire()
    self.acqBuffer.extend(self.shared_return_list)
    del self.shared_return_list[:]
finally:
    self.shared_result_lock.release()

您甚至可以添加例外条款，并记录引发的任何例外情况（如果事实证明这是问题所在）。

Answer 2

事实证明这不是死锁。我的错！问题是从设备获取的数据有时非常庞大，以至于通过

复制数据

shared_return_list.extend(acqBuffer)
del acqBuffer[:]

程序冻结需要很长时间。我通过分块移动数据和限制从设备中提取的数据量解决了这个问题。

Python: multiprocessing单锁死锁

Python: Deadlock of a single lock in multiprocessing

python

mutex

thread-safety

multiprocessing

python-3.4