Dask Distributed - 推荐的包版本
Dask Distributed - Recommended package versions
我最近尝试将我的 Dask Distributed 升级到 2.3.0 并将 fastparquet 升级到 0.3.2，但发现这会导致与 Dask Distributed 2.1.0 一起工作的代码出现死锁和 worker 丢失（我想利用read_parquet 特性 'gather_statistics=False' 的一部分，它在 Dask 2.2.0+ 中）。看起来 tornado 可能无法与较新版本的 Dask 一起使用 - 我收到错误，例如我粘贴在底部的错误。
升级 tornado 似乎无法解决我在使用 Dask 2.3.0 时遇到的稳定性问题。我的集群中当前的一组相关包似乎很稳定，是：
Python 3.7.3
dask==2.1.0
distributed==2.1.0
tornado==6.0.2
blosc==1.8.1
bokeh==1.2.0
cloudpickle==1.2.1
fastparquet==0.3.1
fsspec==0.4.1
msgpack==0.6.1
numpy==1.16.1
pandas==0.24.2
six==1.12.0
toolz==0.9.0
colorama==0.4.1
numba==0.44.1
python-snappy==0.5.1
Cython==0.29.13
Nodes are a mix of Ubuntu 18 and 19
与 Dask Distributed 2 一起稳定的推荐包版本集是什么3.x？
是否有任何其他包我应该确保我的集群中的所有节点都具有相同的版本？
2019-09-10 01:25:17,211 - INFO - 192.168.0.152 - tornado.application - ERROR - Exception in callback functools.partial(<bound method IOLoop._discard_future_result of <tornado.platform.asyncio.AsyncIOLoop object at 0x7f8d8963af28>>, <Future finished exception=TypeError("'NoneType' object is not subscriptable")>)
2019-09-10 01:25:17,214 - INFO - 192.168.0.152 - Traceback (most recent call last):
2019-09-10 01:25:17,265 - INFO - 192.168.0.152 - File "/usr/local/lib/python3.7/dist-packages/tornado/ioloop.py", line 743, in _run_callback
2019-09-10 01:25:17,300 - INFO - 192.168.0.152 - ret = callback()
2019-09-10 01:25:17,308 - INFO - 192.168.0.152 - File "/usr/local/lib/python3.7/dist-packages/tornado/ioloop.py", line 767, in _discard_future_result
2019-09-10 01:25:17,344 - INFO - 192.168.0.152 - future.result()
2019-09-10 01:25:17,373 - INFO - 192.168.0.152 - File "/usr/local/lib/python3.7/dist-packages/tornado/gen.py", line 742, in run
2019-09-10 01:25:17,379 - INFO - 192.168.0.152 - yielded = self.gen.send(value)
2019-09-10 01:25:17,394 - INFO - 192.168.0.152 - File "/usr/local/lib/python3.7/dist-packages/distributed/worker.py", line 796, in heartbeat
2019-09-10 01:25:17,411 - INFO - 192.168.0.152 - if response["status"] == "missing":
2019-09-10 01:25:17,447 - INFO - 192.168.0.152 - TypeError: 'NoneType' object is not subscriptable
我们共同测试并共同发布了Dask的相关子包。我们努力使所有包的最新版本在任何时候都处于良好的工作状态。
我们有时可能会失败，但如果我们失败了，那就是一个错误。在这些情况下，我建议在 Github.
上提交错误报告
我最近尝试将我的 Dask Distributed 升级到 2.3.0 并将 fastparquet 升级到 0.3.2，但发现这会导致与 Dask Distributed 2.1.0 一起工作的代码出现死锁和 worker 丢失（我想利用read_parquet 特性 'gather_statistics=False' 的一部分，它在 Dask 2.2.0+ 中）。看起来 tornado 可能无法与较新版本的 Dask 一起使用 - 我收到错误，例如我粘贴在底部的错误。
升级 tornado 似乎无法解决我在使用 Dask 2.3.0 时遇到的稳定性问题。我的集群中当前的一组相关包似乎很稳定，是：
Python 3.7.3
dask==2.1.0
distributed==2.1.0
tornado==6.0.2
blosc==1.8.1
bokeh==1.2.0
cloudpickle==1.2.1
fastparquet==0.3.1
fsspec==0.4.1
msgpack==0.6.1
numpy==1.16.1
pandas==0.24.2
six==1.12.0
toolz==0.9.0
colorama==0.4.1
numba==0.44.1
python-snappy==0.5.1
Cython==0.29.13
Nodes are a mix of Ubuntu 18 and 19
与 Dask Distributed 2 一起稳定的推荐包版本集是什么3.x？
是否有任何其他包我应该确保我的集群中的所有节点都具有相同的版本？
2019-09-10 01:25:17,211 - INFO - 192.168.0.152 - tornado.application - ERROR - Exception in callback functools.partial(<bound method IOLoop._discard_future_result of <tornado.platform.asyncio.AsyncIOLoop object at 0x7f8d8963af28>>, <Future finished exception=TypeError("'NoneType' object is not subscriptable")>)
2019-09-10 01:25:17,214 - INFO - 192.168.0.152 - Traceback (most recent call last):
2019-09-10 01:25:17,265 - INFO - 192.168.0.152 - File "/usr/local/lib/python3.7/dist-packages/tornado/ioloop.py", line 743, in _run_callback
2019-09-10 01:25:17,300 - INFO - 192.168.0.152 - ret = callback()
2019-09-10 01:25:17,308 - INFO - 192.168.0.152 - File "/usr/local/lib/python3.7/dist-packages/tornado/ioloop.py", line 767, in _discard_future_result
2019-09-10 01:25:17,344 - INFO - 192.168.0.152 - future.result()
2019-09-10 01:25:17,373 - INFO - 192.168.0.152 - File "/usr/local/lib/python3.7/dist-packages/tornado/gen.py", line 742, in run
2019-09-10 01:25:17,379 - INFO - 192.168.0.152 - yielded = self.gen.send(value)
2019-09-10 01:25:17,394 - INFO - 192.168.0.152 - File "/usr/local/lib/python3.7/dist-packages/distributed/worker.py", line 796, in heartbeat
2019-09-10 01:25:17,411 - INFO - 192.168.0.152 - if response["status"] == "missing":
2019-09-10 01:25:17,447 - INFO - 192.168.0.152 - TypeError: 'NoneType' object is not subscriptable
我们共同测试并共同发布了Dask的相关子包。我们努力使所有包的最新版本在任何时候都处于良好的工作状态。
我们有时可能会失败，但如果我们失败了，那就是一个错误。在这些情况下，我建议在 Github.
上提交错误报告