使用 gnu parallel 的自适应负载平衡

Question

有什么方法可以运行 gnu 与动态变化的远程主机列表并行吗？动态不是间歇性的或不规则的——我正在寻找一种方法来使用 Google 计算引擎自动缩放功能来平滑地扩展到最大数量的主机，并在这些主机活跃时使用 gnu 并行调度作业.我想我可以创建一个假工作来触发自动缩放以启动多个主机并让它们将自己注册到某个中央主机文件。有什么想法可以最好地管理它吗？

Answer 1

来自man parallel：

   --slf filename
            File with sshlogins. The file consists of sshlogins on
            separate lines.
            : 
            If the sshloginfile is changed it will be re-read when a
            job finishes though at most once per second. This makes it
            possible to add and remove hosts while running.

使用 gnu parallel 的自适应负载平衡

adaptive load balancing with gnu parallel

google-compute-engine

gnu-parallel