如何在 python 和节点进程之间共享 mmap

Question

我正在尝试使用匿名 mmap 在 python 进程和从 python 进程启动的 nodejs 进程之间共享内存。本质上，python 进程开始，初始化 mmap 并使用 call 或 Popen 启动子进程以启动运行某些节点代码的子进程。此 nodejs 代码使用 mmap 尝试访问内存中的同一区域。但是我得到两个不同的映射并且它们之间没有共享数据。这是为什么？

import mmap, math, os
from subprocess import call

mm = mmap.mmap( -1, 1024,
                flags=mmap.MAP_SHARED | mmap.MAP_ANONYMOUS,
                prot= mmap.PROT_READ | mmap.PROT_WRITE )


mm.seek(0)
mm.write('hello world!\n'.encode('utf-8'))



call([
    'node', '-e',
    """
const mmap = require('mmap.js');

const fileBuf = mmap.alloc(
    1024,
    mmap.PROT_READ | mmap.PROT_WRITE,
    mmap.MAP_SHARED| mmap.MAP_ANONYMOUS,
    -1,
    0
)

console.log(fileBuf.toString('utf-8'));

    """ 
])

我用的mmap.js是原mmap c函数的一个NAPI。 This is the github for this library.

编辑：

感谢 'that other guy' 的回答。这是正确的。这是一些开箱即用的示例代码！： test_mmap.py

import os, ctypes, posix_ipc, sys, mmap
from subprocess import call
SHARED_MEMORY_NAME = "/shared_memory"



memory = posix_ipc.SharedMemory(SHARED_MEMORY_NAME, posix_ipc.O_CREX,
                                size=1024)

mapFile = mmap.mmap(memory.fd, memory.size)
memory.close_fd()


mapFile.seek(0)
mapFile.write("Hello world!\n".encode('utf-8'))
mapFile.seek(0)

print("FROM PYTHON MAIN PROCESS: ", mapFile.readline().decode('utf-8'))
mapFile.seek(0)



call([
    "node", "./test_mmap.js", SHARED_MEMORY_NAME
])





mapFile.close()


posix_ipc.unlink_shared_memory(SHARED_MEMORY_NAME)

test_mmap.js

const args = process.argv;
const mmap = require('mmap.js');
const shm  = require('nodeshm');
const SHM_FILE_NAME=args[args.length-1];


let fd = shm.shm_open(SHM_FILE_NAME, shm.O_RDWR, 0600);
if (fd == -1){
    console.log("FD COULD NOT BE OPENED!");
    throw "here";
}



let mm = mmap.alloc(1024, mmap.PROT_READ | mmap.PROT_WRITE, mmap.MAP_SHARED, fd, 0);


console.log("FROM NODE: ", mm.slice(0, mm.indexOf('\n')).toString('utf-8'));

示例输出：

FROM PYTHON MAIN PROCESS:  Hello world!

FROM NODE:  Hello world!

Answer 1

幸运的是，这行不通：想象一下，如果系统的所有 MAP_ANONYMOUS 映射都针对同一区域并不断相互覆盖，那会有多混乱。

相反，使用 shm_open 创建一个可以在两个进程中进行 mmap 的新句柄。这是一个可移植的包装器，围绕在 /dev/shm/.

中创建和映射文件的同样有效但可移植性较差的策略

如何在 python 和节点进程之间共享 mmap

How to share mmap between python and node processes

python

node.js

linux

mmap