在 Nextflow 和 Google Lifesciences 中同时使用常规和抢占式机器

Question

考虑拥有三个进程，运行一个接一个。第一个不能抢占，第二个可以抢占，第三个不能抢占。

我的配置如下所示：

google {
    project = "cool-name"
    region = "cool-region"
    
    lifeSciences {
        bootDiskSize = "200 GB"
        debug = true
        preemptible = false
    }
}

这样使用preemptible = false，三个进程都无法被抢占。是否有可能使第二个进程可抢占？

Answer 1

我认为您应该能够使用 process selector（即 withName 或 withLabel）为您的进程指定所需的配置选项：

process {
    withName: 'second_process' {
        google.lifeSciences.preemptible = true
    }
}

此应该覆盖您在配置中仅针对第二个进程指定的 'default' 值。

这是一个例子，只使用了 echo 指令：

test.nf 的内容：

nextflow.enable.dsl=2

process second_process {

    script:
    "echo HelloWorld"
}

workflow {

    second_process()
}

nextflow.config 的内容：

process {
    withName: 'second_process' {
        echo = true
    }
}

运行使用：

nextflow run -ansi-log false test.nf

示例输出：

N E X T F L O W  ~  version 20.10.0
Launching `test.nf` [nauseous_linnaeus] - revision: 6c35b71798
[78/cc161d] Submitted process > second_process
HelloWorld

在 Nextflow 和 Google Lifesciences 中同时使用常规和抢占式机器

Use both regular and preemptible machines in Nextflow and Google Lifesciences

nextflow