如何为处理文件集合的并行作业设置 Kubernetes
How to setup Kubernetes for a parallel job working on a collection of files
所以我基本上是在寻找任何可以为我指明正确方向的人,以设置 Kubernetes 以对许多工作项执行通用计算,其中每个工作项都是一个单独的文件。
我一直在阅读文档 here,它似乎表明这是可能的,这些示例显示了单词队列并简单地打印了单词,但是,我在持久卷方面遇到了问题.
我最终需要的是一个部署,该部署将采用包含数据点的大文件并将其拆分为多个文件。 然后我想让一个作业对象执行多个 pods,每个文件一个,在将文件传回部署以进行 post 处理之前执行计算。
我无法找到如何传输文件的方法,从我读到的内容来看,一个 PersistentVolume 似乎不能同时绑定到多个 pod。 那么如何将文件传递到作业中的单个 pod?
如有任何建议或总体方向,我们将不胜感激。
PersistentVolume cannot be bound to more than one pod at once.
PV是否在Nodes/Pods之间共享(或不共享)由accessMode决定;并非所有 PV 都普遍绑定到一个 Node/Pod
如该页面上的图表所示,有许多 PV 技术可以容忍 ReadWriteMany
,其中最著名的是 NFS
所以我基本上是在寻找任何可以为我指明正确方向的人,以设置 Kubernetes 以对许多工作项执行通用计算,其中每个工作项都是一个单独的文件。
我一直在阅读文档 here,它似乎表明这是可能的,这些示例显示了单词队列并简单地打印了单词,但是,我在持久卷方面遇到了问题.
我最终需要的是一个部署,该部署将采用包含数据点的大文件并将其拆分为多个文件。 然后我想让一个作业对象执行多个 pods,每个文件一个,在将文件传回部署以进行 post 处理之前执行计算。
我无法找到如何传输文件的方法,从我读到的内容来看,一个 PersistentVolume 似乎不能同时绑定到多个 pod。 那么如何将文件传递到作业中的单个 pod?
如有任何建议或总体方向,我们将不胜感激。
PersistentVolume cannot be bound to more than one pod at once.
PV是否在Nodes/Pods之间共享(或不共享)由accessMode决定;并非所有 PV 都普遍绑定到一个 Node/Pod
如该页面上的图表所示,有许多 PV 技术可以容忍 ReadWriteMany
,其中最著名的是 NFS