Dask 与通道和内存使用共享未来

Question

我正在玩这里描述的 dask 功能“Shared Futures With Channels”。

如文档中所述，我成功提交了期货并将它们添加到频道中。然后我从另一个客户那里设法 运行 通过未来并从他们那里得到结果。

在我的用例中，可能会向频道加载大量期货。 当我查看调度程序时，我发现内存使用量增长均匀并且即使在我得到结果之后仍然保持高水平。

有没有办法从通道中卸载期货？

Answer 1

截至 2017 年 1 月，尚无从通道中清算特定期货的机制，但可能会添加这一机制。您可能想提出一个问题 here.

您还可以考虑使用 maxlen= 参数创建一个最大长度的频道

chan = Channel('my-channel', maxlen=100)

您需要在第一次创建频道时执行此操作。