Tachyon 似乎不知道可用内存
Tachyon Doesn't Seem to be Aware of Available Memory
只是为了看看 Tachyon 是否会给我一个关于配置的内存超过可用内存的错误,我设置了:
# Some value over combined available mem and disk space.
export TACHYON_WORKER_MEMORY_SIZE=1000GB
并在网上观察到分配UI没有错误。
超出可用 RAM 时是否会将某些信息推送到磁盘?
超过磁盘space会怎样?丢失文件错误或系统故障?
这是预期的(如果可能是无益的行为),最终这与 Tachyon 使用 Linux ramfs
作为内存存储这一事实有关。
正如 this article 解释的那样:
ramfs
file systems cannot be limited in size like a disk base file
system which is limited by it’s capacity. ramfs
will continue using
memory storage until the system runs out of RAM and likely crashes or
becomes unresponsive.
请注意,Tachyon 将根据您提供的大小强制执行大小限制。然而,正如您所发现的,您可以分配比实际可用内存更多的 RAM,而 Tachyon 不会检查这一点,因此您可能需要继续并提交错误报告。
回答您的具体问题:
- 没有多余的数据不会自动推送到磁盘
- 当 RAM 已满时,行为 OS 依赖
请注意,您所指的设置仅控制内存 space,如果除了 RAM 之外还想使用本地磁盘,则需要使用 Tachyon 的 Tiered Storage。
只是为了看看 Tachyon 是否会给我一个关于配置的内存超过可用内存的错误,我设置了:
# Some value over combined available mem and disk space.
export TACHYON_WORKER_MEMORY_SIZE=1000GB
并在网上观察到分配UI没有错误。
超出可用 RAM 时是否会将某些信息推送到磁盘?
超过磁盘space会怎样?丢失文件错误或系统故障?
这是预期的(如果可能是无益的行为),最终这与 Tachyon 使用 Linux ramfs
作为内存存储这一事实有关。
正如 this article 解释的那样:
ramfs
file systems cannot be limited in size like a disk base file system which is limited by it’s capacity.ramfs
will continue using memory storage until the system runs out of RAM and likely crashes or becomes unresponsive.
请注意,Tachyon 将根据您提供的大小强制执行大小限制。然而,正如您所发现的,您可以分配比实际可用内存更多的 RAM,而 Tachyon 不会检查这一点,因此您可能需要继续并提交错误报告。
回答您的具体问题:
- 没有多余的数据不会自动推送到磁盘
- 当 RAM 已满时,行为 OS 依赖
请注意,您所指的设置仅控制内存 space,如果除了 RAM 之外还想使用本地磁盘,则需要使用 Tachyon 的 Tiered Storage。