Python: numpy memmap 并行
Python: numpy memmap in parallel
跨多核 (MPI) 使用 numpy 的 memmap
有意义吗?
我在磁盘上有一个文件。
我可以在每个核心上创建一个单独的 memmap
对象,并用它从文件中读取不同的切片吗?
写信给它怎么样?
Q : "Does it make sense to use numpy's memmap
across multiple cores (MPI)?"
是 ( ... 即使没有 MPI,仅使用 Python 基于原生 { 线程- | 进程} 的并发处理形式 )
Q : "Can I create a separate memmap
-object on each core, and use it to read different slices from the file?"
是的。
Q : "What about writing to it?"
相同(当然,如果以可写模式打开...)
跨多核 (MPI) 使用 numpy 的 memmap
有意义吗?
我在磁盘上有一个文件。
我可以在每个核心上创建一个单独的 memmap
对象,并用它从文件中读取不同的切片吗?
写信给它怎么样?
Q : "Does it make sense to use numpy's
memmap
across multiple cores (MPI)?"
是 ( ... 即使没有 MPI,仅使用 Python 基于原生 { 线程- | 进程} 的并发处理形式 )
Q : "Can I create a separate
memmap
-object on each core, and use it to read different slices from the file?"
是的。
Q : "What about writing to it?"
相同(当然,如果以可写模式打开...)