默认附加额外的 500 GB 永久性磁盘

Question

我正在尝试运行 GCP 上使用 Nextflow 的工作流程。问题是，每当为运行进程创建实例时，它都会附加两个磁盘。第一个引导磁盘（默认 10GB）和一个额外的 'google-pipelines-worker' 磁盘（默认 500GB）。当我运行并行处理多个进程时，会创建多个虚拟机，每个虚拟机都附加一个 500GB 的额外磁盘。有什么方法可以自定义 500GB 默认值吗？

nextflow.config

process {
    executor = 'google-pipelines'
}

cloud {
    driver = 'google'
}

google {
    project = 'my-project'
    zone = 'europe-west2-b'
}

main.nf

#!/usr/bin/env nextflow

barcodes = Channel.from(params.analysis_cfg.barcodes.keySet())

process run_pbb{
    machineType: n1-standard-2
    container: eu.gcr.io/my-project/container-1

    output:
    file 'this.txt' into barcodes_ch

    script:
    """
    sleep 500
    """
}

提供的代码只是一个示例。基本上，这将创建一个附加了 500GB 标准永久性磁盘的 VM 实例。

Answer 1

我一直在检查 Nextflow documentation，其中指定：

The compute nodes local storage is the default assigned by the Compute Engine service for the chosen machine (instance) type. Currently it is not possible to specify a custom disk size for local storage.

Answer 2

Nextflow 在之前的版本中对此进行了更新，将在此处保留。

第一个运行export NXF_VER=19.09.0-edge

然后在范围 'process' 中，您可以像这样声明磁盘指令：

process this_process{
    disk "100GB"
}

这会更新附加的永久性磁盘（默认值：500GB）

仍然没有编辑启动盘大小的功能（默认：10GB）

默认附加额外的 500 GB 永久性磁盘

Additional 500 GB persistent disk attached by default

google-cloud-platform

google-genomics

nextflow