使用 Ray 进行基本的集群计算和数据管理
Basic cluster computing and data management with Ray
我正在尝试在不同的计算机上使用 Ray 到 运行 并行科学模拟。我希望能够在模拟和 运行 同一案例的许多不同版本中更改参数以检查其影响。
教程和示例与 Ray 配合使用顺畅。但是，我正在努力让事情适合我的情况：
- 我需要使用更改后的参数复制一个模板文件。我可以在 yaml 文件中使用
file_mounts 复制原始文件。但是，除了 python 文件中的 os.chdir 之外，我找不到更改工作目录的方法。当使用 ray start 启动集群时，工作目录是我所在的位置，但是对于 yaml 文件，它在每个节点的主目录中。
- 我希望能够使用 yaml 文件更改 cpu 的数量，就像
ray start --num-cpu=
但是，我找不到办法。
如果您能提供一个简单的基本案例来满足我的需求，那就太好了！
- 对于 YAML 文件，一种解决方法是在 setup_commands.
中包含 echo "cd WORKING_PATH" >> ~/.bashrc
- 您可以使用此处的
example-full.yaml 模板指定光线启动命令：https://github.com/ray-project/ray/blob/master/python/ray/autoscaler/aws/example-full.yaml
我正在尝试在不同的计算机上使用 Ray 到 运行 并行科学模拟。我希望能够在模拟和 运行 同一案例的许多不同版本中更改参数以检查其影响。
教程和示例与 Ray 配合使用顺畅。但是，我正在努力让事情适合我的情况：
- 我需要使用更改后的参数复制一个模板文件。我可以在 yaml 文件中使用
file_mounts复制原始文件。但是，除了 python 文件中的os.chdir之外，我找不到更改工作目录的方法。当使用 ray start 启动集群时，工作目录是我所在的位置，但是对于 yaml 文件，它在每个节点的主目录中。 - 我希望能够使用 yaml 文件更改 cpu 的数量，就像
ray start --num-cpu=
但是，我找不到办法。
如果您能提供一个简单的基本案例来满足我的需求，那就太好了！
- 对于 YAML 文件，一种解决方法是在 setup_commands. 中包含
- 您可以使用此处的
example-full.yaml模板指定光线启动命令：https://github.com/ray-project/ray/blob/master/python/ray/autoscaler/aws/example-full.yaml
echo "cd WORKING_PATH" >> ~/.bashrc