在没有额外内存成本的情况下在进程之间共享 NetworkX 图(只读)
Sharing NetworkX graph between processes with no additional memory cost (read-only)
我正在使用 python 的多处理模块。我有一个 networkx 图,我希望在许多子进程之间共享它。这些子进程不会以任何方式修改图形,只会读取其属性(节点、边等)。现在每个子进程都有自己的图表副本,但我正在寻找一种在所有子进程之间共享图表的方法,这将减少整个程序的内存占用。由于计算非常 CPU 密集,我希望以不会导致大性能问题的方式完成此操作(尽可能避免锁定等)。
注意:我希望它能在各种操作系统上运行,包括 Windows,这意味着 COW 没有帮助(如果我理解正确,它可能无论如何都不会帮助,因为引用计数) )
我发现 https://docs.python.org/3/library/multiprocessing.html#proxy-objects 并且
https://docs.python.org/3/library/multiprocessing.shared_memory.html,但我不确定哪个(或者是否有任何一个)合适。解决这个问题的正确方法是什么?我正在使用 python 3.8,但如果有帮助,可以使用更高版本。
在多处理过程中 python 中有一些共享数据的选项,但您可能无法完全按照自己的意愿进行操作。
在 C++ 中,您可以为整数、浮点数、结构等使用简单的共享内存。Python 的共享内存管理器允许这种类型的简单对象共享,但它不适用于类 或任何比基本类型列表更复杂的东西。对于共享的复杂 python 对象,您实际上只有几个选择...
在您的分叉进程中创建对象的副本(听起来您不想这样做)。
将对象置于集中式进程中(即.. python 的管理器/代理对象)并通过管道和腌制数据与其交互。
将您的 networkX 图转换为简单整数列表并将其放入共享内存中。
什么对你有用取决于一些细节。选项 #2 有一点开销,因为每次您需要访问对象时,数据都必须被 pickle 并通过管道传输到集中式进程,结果 pickled/piped for return。如果您一次只需要一小部分集中数据并且您的处理步骤相对较长(与 pickle/pipe 时间相比),则此方法很有效。
选项 #3 可能需要大量工作。您将从根本上将数据格式从 networkX 对象更改为整数列表,因此它将改变您进行大量处理的方式。
前一段时间我把 PythonDataServe 放在一起,它允许您将数据从另一个进程发送到多个进程。这是与上面#2 非常相似的解决方案。如果您一次只需要一小部分数据,但如果您需要所有数据,则这种方法很有效,只创建一个本地副本要容易得多。
我正在使用 python 的多处理模块。我有一个 networkx 图,我希望在许多子进程之间共享它。这些子进程不会以任何方式修改图形,只会读取其属性(节点、边等)。现在每个子进程都有自己的图表副本,但我正在寻找一种在所有子进程之间共享图表的方法,这将减少整个程序的内存占用。由于计算非常 CPU 密集,我希望以不会导致大性能问题的方式完成此操作(尽可能避免锁定等)。
注意:我希望它能在各种操作系统上运行,包括 Windows,这意味着 COW 没有帮助(如果我理解正确,它可能无论如何都不会帮助,因为引用计数) )
我发现 https://docs.python.org/3/library/multiprocessing.html#proxy-objects 并且 https://docs.python.org/3/library/multiprocessing.shared_memory.html,但我不确定哪个(或者是否有任何一个)合适。解决这个问题的正确方法是什么?我正在使用 python 3.8,但如果有帮助,可以使用更高版本。
在多处理过程中 python 中有一些共享数据的选项,但您可能无法完全按照自己的意愿进行操作。
在 C++ 中,您可以为整数、浮点数、结构等使用简单的共享内存。Python 的共享内存管理器允许这种类型的简单对象共享,但它不适用于类 或任何比基本类型列表更复杂的东西。对于共享的复杂 python 对象,您实际上只有几个选择...
在您的分叉进程中创建对象的副本(听起来您不想这样做)。
将对象置于集中式进程中(即.. python 的管理器/代理对象)并通过管道和腌制数据与其交互。
将您的 networkX 图转换为简单整数列表并将其放入共享内存中。
什么对你有用取决于一些细节。选项 #2 有一点开销,因为每次您需要访问对象时,数据都必须被 pickle 并通过管道传输到集中式进程,结果 pickled/piped for return。如果您一次只需要一小部分集中数据并且您的处理步骤相对较长(与 pickle/pipe 时间相比),则此方法很有效。
选项 #3 可能需要大量工作。您将从根本上将数据格式从 networkX 对象更改为整数列表,因此它将改变您进行大量处理的方式。
前一段时间我把 PythonDataServe 放在一起,它允许您将数据从另一个进程发送到多个进程。这是与上面#2 非常相似的解决方案。如果您一次只需要一小部分数据,但如果您需要所有数据,则这种方法很有效,只创建一个本地副本要容易得多。