snakemake：传递不存在的输入（或传递多个参数）

Question

我正在努力编写一个 snakemake 管道以从 aws s3 实例下载文件。
因为我的文件在s3上的组织和命名不一致，所以不想使用snakemake的remote options。相反，我混合使用 grep 和 python 来枚举我想要在 s3 上的路径，并将它们放在一个文本文件中：

#s3paths.txt
s3://path/to/sample1.bam
s3://path/to/sample2.bam

在我的配置文件中，我指定了我想要使用的示例：

#config.yaml
samplesToDownload: [sample1, sample3, sample18]

我想创建一个管道，其中第一条规则从 s3 下载文件，这些文件包含 config['samplesToDownload'] 中存在的字符串。运行时代码片段为我做了这个：

pathsToDownload: [path for path in s3paths.txt if path contains string in samplesToDownload]

一切正常，我剩下一个全局变量 pathsToDownload，看起来像这样：

pathsToDownload: ['s3://path/to/sample1.bam', 's3://path/to/sample3.bam', 's3://path/to/sample18.bam']

现在我试着让snakemake参与进来并与之抗争。如果我尝试将 python 变量放入输入中，snakemake 会拒绝，因为该文件在本地不存在：

rule download_bams_from_s3:
   input: 
      s3Path = pathsToDownload
   output:
      expand(where/I/want/file/{sample}.bam, sample=config['samplesToDownload'])
   shell:
       aws s3 cp {input.s3Path} where/I/want/file/{sample}.bam

这失败了，因为无法找到 input.s3Path，因为它是 s3 上的路径，而不是本地路径。然后我尝试做同样的事情，但将 pathsToDownload 作为参数：

rule download_bams_from_s3:
   params: 
      s3Path = pathsToDownload
   output:
      expand(where/I/want/file/{sample}.bam, sample=config['samplesToDownload'])
   shell:
       aws s3 cp {params.s3Path} where/I/want/file/{sample}.bam

这不会产生错误，但会产生错误类型的 shell 命令。而不是生成我想要的，总共 3 个 shell 命令：

shell: aws s3 cp path/to/sample1 where/I/want/file/sample1.bam
shell: aws s3 cp path/to/sample3 where/I/want/file/sample3.bam
shell: aws s3 cp path/to/sample18 where/I/want/file/sample18.bam

它生成一个包含所有三个路径的 shell 命令：

shell: aws s3 cp path/to/sample1 path/to/sample3 path/to/sample18 where/I/want/file/sample1.bam where/I/want/file/sample3.bam where/I/want/file/sample18.bam

即使我能够正确构建一个庞大的 shell 命令，但这也不是我想要的，因为我想要单独的 shell 命令来利用 snakemakes 并行化和不重新下载相同内容的能力文件，如果它已经存在。
我觉得 snakemake 的这个用例不是一个大问题，但我花了几个小时试图构建一些可行的东西但无济于事。非常感谢干净的解决方案！

Answer 1

您可以创建一个将样本映射到 aws 路径的字典，并使用该字典一个一个地下载文件。喜欢：

samplesToDownload = [sample1, sample3, sample18]

pathsToDownload = ['s3://path/to/sample1.bam', 's3://path/to/sample3.bam', 's3://path/to/sample18.bam']

samplesToPaths = dict(zip(samplesToDownload, pathsToDownload))

rule all:
    input:
        expand('where/I/want/file/{sample}.bam', sample= samplesToDownload),

rule download_bams_from_s3:
    params:
        s3Path= lambda wc: samplesToPaths[wc.sample],
    output:
        bam='where/I/want/file/{sample}.bam',
    shell:
        r"""
        aws s3 cp {params.s3Path} {output.bam}
        """

snakemake：传递不存在的输入（或传递多个参数）

snakemake: pass input that does not exist (or pass multiple params)

python

amazon-s3

snakemake