如何使用导入创建自定义 Dask worker
How to create a custom Dask worker with imports
我正在设置 Dask，我可以使用 dask 进行多处理。
我 运行 遇到问题，但是，当我想使用预配置的 Dask worker 时。他们没有与我的主要流程相同的进口。
我在想。如何将自定义导入添加到 dask worker 中，以便所有访问这些 worker 的 futures 都能有效运行。
理想情况下，你们 Dask 工作者应该拥有相同的软件环境。通常这是在 Dask 之外使用 Docker 图像或网络文件系统 (NFS) 保证的。还有一些其他解决方案，例如 Client.upload_file，可用于小型脚本。
我正在设置 Dask，我可以使用 dask 进行多处理。
我 运行 遇到问题，但是，当我想使用预配置的 Dask worker 时。他们没有与我的主要流程相同的进口。
我在想。如何将自定义导入添加到 dask worker 中，以便所有访问这些 worker 的 futures 都能有效运行。
理想情况下，你们 Dask 工作者应该拥有相同的软件环境。通常这是在 Dask 之外使用 Docker 图像或网络文件系统 (NFS) 保证的。还有一些其他解决方案，例如 Client.upload_file，可用于小型脚本。