将 RAM 使用限制为 python 个程序

Question

我正在尝试将 Python 程序的 RAM 使用量限制为一半，以便在使用所有 RAM 时它不会完全冻结，为此我使用了以下代码，它不是正在工作，但我的笔记本电脑仍然死机：

import sys
import resource

def memory_limit():
    rsrc = resource.RLIMIT_DATA
    soft, hard = resource.getrlimit(rsrc)
    soft /= 2
    resource.setrlimit(rsrc, (soft, hard))

if __name__ == '__main__':
    memory_limit() # Limitates maximun memory usage to half
    try:
        main()
    except MemoryError:
        sys.stderr.write('MAXIMUM MEMORY EXCEEDED')
        sys.exit(-1)

我正在使用从 main 函数调用的其他函数。

我做错了什么？

提前致谢。

PD：我已经对此进行了搜索并找到了我输入的代码，但它仍然无法正常工作...

Answer 1

我做了一些研究并在此处找到了从 Linux 系统获取内存的函数：Determine free RAM in Python 我对其进行了一些修改以仅获取可用的空闲内存并设置最大值内存可用一半。

代码：

import resource
import sys

def memory_limit():
    soft, hard = resource.getrlimit(resource.RLIMIT_AS)
    resource.setrlimit(resource.RLIMIT_AS, (get_memory() * 1024 / 2, hard))

def get_memory():
    with open('/proc/meminfo', 'r') as mem:
        free_memory = 0
        for i in mem:
            sline = i.split()
            if str(sline[0]) in ('MemFree:', 'Buffers:', 'Cached:'):
                free_memory += int(sline[1])
    return free_memory

if __name__ == '__main__':
    memory_limit() # Limitates maximun memory usage to half
    try:
        main()
    except MemoryError:
        sys.stderr.write('\n\nERROR: Memory Exception\n')
        sys.exit(1)

将其设置为一半的行是 resource.setrlimit(resource.RLIMIT_AS, (get_memory() * 1024 / 2, hard))，其中 get_memory() * 1024 / 2 将其设置为一半（以字节为单位）。

Answer 2

由于https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=34e431b0ae398fc54ea69ff85ec700722c9da773

最好用:

if str(sline[0]) == 'MemAvailable:':
            free_memory = int(sline[1])
            break

答案代码为我提供了 1TB RAM 机器上 8GB 的可用内存

Answer 3

我修改了@Ulises CT的答案。因为我觉得原来的功能改变太多不太好，所以我把它变成了一个装饰器。希望对你有帮助。

import resource
import platform
import sys

def memory_limit(percentage: float):
    """
    只在linux操作系统起作用
    """
    if platform.system() != "Linux":
        print('Only works on linux!')
        return
    soft, hard = resource.getrlimit(resource.RLIMIT_AS)
    resource.setrlimit(resource.RLIMIT_AS, (get_memory() * 1024 * percentage, hard))

def get_memory():
    with open('/proc/meminfo', 'r') as mem:
        free_memory = 0
        for i in mem:
            sline = i.split()
            if str(sline[0]) in ('MemFree:', 'Buffers:', 'Cached:'):
                free_memory += int(sline[1])
    return free_memory

def memory(percentage=0.8):
    def decorator(function):
        def wrapper(*args, **kwargs):
            memory_limit(percentage)
            try:
                return function(*args, **kwargs)
            except MemoryError:
                mem = get_memory() / 1024 /1024
                print('Remain: %.2f GB' % mem)
                sys.stderr.write('\n\nERROR: Memory Exception\n')
                sys.exit(1)
        return wrapper
    return decorator

@memory(percentage=0.8)
def main():
    print('My memory is limited to 80%.')

将 RAM 使用限制为 python 个程序

Limit RAM usage to python program

python

ram