在 Ray 中打开文件
open file inside Ray
我正在使用 RAY，并创建了一个自定义环境。
但是自定义的env需要打开一个文件，而ray在不同的位置创建worker。
因此，我无法访问该文件。
打印工人位置时，我得到：city_v1/DQN/DQN_CityFlows_074cc_00000_0_2022-04-20_13-09-56
文件存在于：
examples/1x1/file.json
如您所述，Ray worker 进程可能 运行 在不同的位置，甚至不同的机器。
让工作人员可以使用文件的推荐解决方案是通过 运行time 环境明确指定它们。 https://docs.ray.io/en/latest/ray-core/handling-dependencies.html
在你的情况下你可能想要做
runtime_env = {"working_dir": "./"}
复制本地工作目录。
请注意，这些目录是从头节点发送到所有工作节点的，如果您的目录很大，这可能是一个缓慢的过程（在这种情况下，您应该尽量减少需要的文件数量已上传）。
我正在使用 RAY，并创建了一个自定义环境。 但是自定义的env需要打开一个文件，而ray在不同的位置创建worker。 因此，我无法访问该文件。
打印工人位置时，我得到：city_v1/DQN/DQN_CityFlows_074cc_00000_0_2022-04-20_13-09-56
文件存在于：
examples/1x1/file.json
如您所述，Ray worker 进程可能 运行 在不同的位置，甚至不同的机器。
让工作人员可以使用文件的推荐解决方案是通过 运行time 环境明确指定它们。 https://docs.ray.io/en/latest/ray-core/handling-dependencies.html
在你的情况下你可能想要做
runtime_env = {"working_dir": "./"}
复制本地工作目录。
请注意，这些目录是从头节点发送到所有工作节点的，如果您的目录很大，这可能是一个缓慢的过程（在这种情况下，您应该尽量减少需要的文件数量已上传）。