Ray 对象存储运行内存不足，使用核心不足。如何配置像 s3 存储桶这样的外部对象存储？

Question

import ray
import numpy as np



ray.init()

@ray.remote
def f():
  return np.zeros(10000000)

results = []
for i in range(100):
  print(i)
  results += ray.get([f.remote() for _ in range(50)])

通常，当对象存储填满时，它会开始逐出未使用的对象（以最近最少使用的方式）。但是，因为所有的对象都是保存在结果列表中的numpy数组，它们都还在使用中，而这些numpy数组所在的内存实际上在对象存储中，所以它们占用了space 在对象存储中。在这些对象超出范围之前，对象存储无法驱逐它们。

问：如何在不超出单机内存的情况下指定一个外部对象存储，比如redis？我不想使用 /dev/shm 或 /tmp 作为对象存储，因为只有有限的内存可用并且它很快就会填满

Answer 1

从ray 1.2.0开始，支持对象溢出以支持核外数据处理。从1.3+（3周后发布）开始，该功能默认开启

https://docs.ray.io/en/latest/memory-management.html#object-spilling

但是您的示例不适用于此功能。让我在这里解释一下原因。

有两件事你需要知道。

当您调用射线任务 (f.remote) 或 ray.put 时，它 returns 一个对象引用。尝试

ref = f.remote()
print(ref)

当你运行 ray.get 这个引用时，现在 python 变量直接访问内存（在 Ray 中，它将在共享内存中，由如果您的对象大小 >= 100KB，则称为 plasma store 的分布式射线对象存储）。所以，

obj = ray.get(ref) # Now, obj is pointing to the shared memory directly.

目前，对象溢出功能支持第 1 种情况下的磁盘溢出，但不支持第 2 种情况（如果您想象的话，支持 2 会更棘手）。

所以这里有2个解；

为您的等离子商店使用一个文件目录。例如，开始射线

ray.init(_plasma_directory="/tmp")

这将允许您使用 tmp 文件夹作为等离子体存储（意味着射线对象存储在 tmp 文件系统中）。请注意，使用此选项时您可能会看到性能下降。

使用背压溢出的对象。不要使用 ray.get 获取所有射线对象，而是使用 ray.wait.

import ray
import numpy as np

# Note: You don't need to specify this if you use the latest master.
ray.init(
    _system_config={
        "automatic_object_spilling_enabled": True,
        "object_spilling_config": json.dumps(
            {"type": "filesystem", "params": {"directory_path": "/tmp/spill"}},
        )
    },
)

@ray.remote
def f():
  return np.zeros(10000000)

result_refs = []
for i in range(100):
  print(i)
  result_refs += [f.remote() for _ in range(50)]

while result_refs:
    [ready], result_refs = ray.wait(result_refs)
    result  = ray.get(ready)

Ray 对象存储运行内存不足，使用核心不足。如何配置像 s3 存储桶这样的外部对象存储？

Ray object store running out of memory using out of core. How can I configure an external object store like s3 bucket?

python

ray

modin

Ray 对象存储 运行 内存不足，使用核心不足。如何配置像 s3 存储桶这样的外部对象存储？

Ray object store running out of memory using out of core. How can I configure an external object store like s3 bucket?

python

ray

modin

Ray 对象存储运行内存不足，使用核心不足。如何配置像 s3 存储桶这样的外部对象存储？