平行复印
Parallel copying
我需要一个可以并行复制到多台服务器的程序。我的数据大约有 70 GB，我需要将其复制到许多其他服务器。如果我对一台服务器执行 rsync，时间大约是 90 分钟，rsync 到 2 个服务器大约需要 120 分钟，而 rsync 到 3 个服务器可能需要 200 分钟。但是每次rsync进程都读取目录，所以当rsync很多的时候，读取速度很慢。 Linux 上是否有任何程序可以进行并行复制 - 它应该一次读取目录中的文件并将该文件同时复制到多台服务器。或者可能有人在 python 上这样做过？还是 tee 命令之类的东西？
我需要一个可以并行复制到多台服务器的程序。我的数据大约有 70 GB，我需要将其复制到许多其他服务器。如果我对一台服务器执行 rsync，时间大约是 90 分钟，rsync 到 2 个服务器大约需要 120 分钟，而 rsync 到 3 个服务器可能需要 200 分钟。但是每次rsync进程都读取目录，所以当rsync很多的时候，读取速度很慢。 Linux 上是否有任何程序可以进行并行复制 - 它应该一次读取目录中的文件并将该文件同时复制到多台服务器。或者可能有人在 python 上这样做过？还是 tee 命令之类的东西？