Dask Distributed：计算后出现一些错误

Question

我运行 Dask 分布在 Linux CentOS 7 上，安装了 Python 3.6.2。我的计算似乎越来越好（我仍在改进我的代码，但我能够得到一些结果），但我不断收到一些显然与 tornado 模块相关的 python 错误。我只启动一个单节点独立 Dask 分布式集群。

这是最常见的例子：

Exception in thread Client loop:
Traceback (most recent call last):
  File "/usr/local/lib/python3.6/threading.py", line 916, in _bootstrap_inner
    self.run()
  File "/usr/local/lib/python3.6/threading.py", line 864, in run
    self._target(*self._args, **self._kwargs)
  File "/usr/local/lib/python3.6/site-packages/tornado/ioloop.py", line 832, in start
    self._run_callback(self._callbacks.popleft())
AttributeError: 'NoneType' object has no attribute 'popleft'

这是另一个：

tornado.application - ERROR - Exception in callback <bound method WorkStealing.balance of <distributed.stealing.WorkStealing object at 0x7f752ce6d6a0>>
Traceback (most recent call last):
  File "/usr/local/lib/python3.6/site-packages/tornado/ioloop.py", line 1026, in _run
    return self.callback()
  File "/usr/local/lib/python3.6/site-packages/distributed/stealing.py", line 248, in balance
    sat = s.rprocessing[key]
KeyError: 'read-block-9024000000-e3fefd2110094168cc0505db69b326e0'

你知道为什么吗？我应该关闭一些连接还是停止独立集群？

Answer 1

是的，如果您在退出进程之前不关闭 Tornado IOLoop，那么它可能会以令人不快的方式死掉。幸运的是，这不会影响您的申请，除非看起来不愉快。

您可以提交有关此问题的错误报告，它仍然是我们应该修复的问题。

Dask Distributed：计算后出现一些错误

Dask Distributed: Getting some errors after computations

python

tornado

python-3.x

dask

dask-distributed