Snakemake：是否可以使用目录作为通配符？

Question

嗨，我是 Snakemake 的新手，有一个问题。我想运行一个工具到多个数据集。一个数据集代表一个组织，每个组织都存在 fastq 文件，这些文件存储在相应的组织目录中。工具的粗略命令是：

  python TEcount.py -rosette rosettefile -TE te_references -count result/tissue/output.csv -RNA <LIST OF FASTQ FILE FOR THE RESPECTIVE SAMPLE>

纸巾为通配符。我怎样才能做到这一点？下面是我的第一次尝试，但没有成功。

import os                                                                        

#collect data sets                                                               
SAMPLES=os.listdir("data/rnaseq/")                                               


rule all:                                                                        
    input:                                                                       
        expand("results/{sample}/TEtools.{sample}.output.csv", sample=SAMPLES)                   

rule run_TEtools:                                                                
    input:                                                                       
        TEcount='scripts/TEtools/TEcount.py',                                    
        rosette='data/prepared_data/rosette/rosette',                            
        te_references='data/prepared_data/references/all_TE_instances.fa'        
    params:
        #collect the fastq files in the tissue directory                                                              
        fastq_files = os.listdir("data/rnaseq/{sample}")                         
    output:                                                                      
        'results/{sample}/TEtools.{sample}.output.csv'                           
    shell:                                                                       
        'python {input.TEcount} -rosette {input.rosette} -TE                     
{input.te_references} -count {output} -RNA {params.fastq_files}'

在规则 run_TEtools 中它不知道 {sample} 是什么。

Answer 1

snakemake 通配符可以是任何东西。它基本上只是一个字符串。
您尝试实现所需目标的方式存在一些问题。

好的，这就是我的做法。解释如下：

import os                                                                        

#collect data sets
# Beware no other directories or files (than those containing fastqs) should be in that folder                                                        
SAMPLES=os.listdir("data/rnaseq/")                                               

def getFastqFilesForTissu(wildcards):
    fastqs = list()
    # Beware no other files than fastqs should be there
    for s in os.listdir("data/rnaseq/"+wildcards.sample):
        fastqs.append(os.path.join("data/rnaseq",wildcards.sample,s))
    return fastqs

rule all:                                                                        
    input:                                                                       
        expand("results/{sample}/TEtools.{sample}.output.csv", sample=SAMPLES)                   

rule run_TEtools:                                                                
    input:                                                                       
        TEcount='scripts/TEtools/TEcount.py',                                    
        rosette='data/prepared_data/rosette/rosette',                            
        te_references='data/prepared_data/references/all_TE_instances.fa',
        fastq_files = getFastqFilesForTissu        
    output:                                                                      
        'results/{sample}/TEtools.{sample}.output.csv'                           
    shell:                                                                       
        'python {input.TEcount} -rosette {input.rosette} -TE {input.te_references} -count {output} -RNA {input.fastq_files}'

首先，你的 fastq 文件应该被定义为输入，以便 snakemake 知道它们是文件，如果它们被更改，规则必须重新运行。将输入文件定义为 params 是非常糟糕的做法。 params 用于参数，通常不用于文件。
其次，您的脚本文件被定义为输入。您必须知道，每次修改它时，规则都会重新运行。也许这就是你想要的。

我会使用定义的函数来获取每个目录中的 fastq 文件。如果你想使用一个函数（比如os.listdir()），你不能直接使用你的通配符。您必须将它作为 python 对象注入到函数中。您可以定义一个接受一个参数的函数，一个包含所有通配符的通配符对象，或者使用 lambda 关键字（例如：input = lamdba wildcards: myFuntion(wildcards.sample)）。
您遇到的另一个问题是 os.listdir() return 是一个没有相对路径的文件列表。还要注意 os.listdir() 将 return 你的 fastq 文件的顺序是未知的。也许这对您的命令无关紧要。

Snakemake：是否可以使用目录作为通配符？

Snakemake: Is it possible to use directories as wildcards?

python

pipeline

bioinformatics

snakemake