Snakemake 多个通配符和 argparse 参数

Question

我是 snakemake 的新手，发现很难做它能做的最简单的事情。为了说明，我编写了一个程序 adding_text.py，它采用输入目录的参数 (argparse)、输出目录和索引（来自输入目录的 os.listdir）来处理一些文本文件。

这是我的文件结构：

identity_category1  
|----A.txt -> text A identity  
|----B.txt -> text B identity  
|----C.txt -> text C identity  
identity_category2  
|----P.txt -> text P identity  
|----Q.txt -> text Q identity  
|----R.txt -> text R identity  
identity_category3  
|----X.txt -> text X identity  
|----Y.txt -> text Y identity  
|----Z.txt -> text Z identity

这是我的代码adding_text.py:

import argparse
import os
my_parser = argparse.ArgumentParser(usage='python %(prog)s [-h] input_dir output_dir file_index')
my_parser.add_argument('input_dir', type=str)
my_parser.add_argument('output_dir', type=str)
my_parser.add_argument('file_index', type=int)
args = my_parser.parse_args()

input_dir = args.input_dir
output_dir = args.output_dir
file_index = args.file_index
if not os.path.exists(output_dir):
    os.mkdir(output_dir)

filelist = os.listdir(input_dir)
input_file = open(os.path.join(input_dir, filelist[file_index]), 'r')
output_file = open(os.path.join(output_dir, filelist[file_index].split('.')[0] + '_added.txt'), 'w')
output_file.write(input_file.read() + ' has been added\n')

我所做的就是在控制台上执行以下命令：

python adding_text.py identity_category1 1_added 0
python adding_text.py identity_category1 1_added 1
python adding_text.py identity_category1 1_added 2
python adding_text.py identity_category2 2_added 0
python adding_text.py identity_category2 2_added 1
python adding_text.py identity_category2 2_added 2
python adding_text.py identity_category3 3_added 0
python adding_text.py identity_category3 3_added 1
python adding_text.py identity_category3 3_added 2

并得到如下输出（结构）：

1_added
|----A_added.txt -> text A identity has been added
|----B_added.txt -> text B identity has been added
|----C_added.txt -> text C identity has been added
2_added
|----P_added.txt -> text P identity has been added
|----Q_added.txt -> text Q identity has been added
|----R_added.txt -> text R identity has been added
3_added
|----X_added.txt -> text X identity has been added
|----Y_added.txt -> text Y identity has been added
|----Z_added.txt -> text Z identity has been added

所以 python 编码不是问题。问题是当我试图围绕这个问题设计一个 snakemake 工作流程时，涉及多个通配符、依赖项等。我的 possible_snakefile 看起来像这样

NUM = ["1", "2", "3"]
SAMPLE = ["A", "B", "C"]

rule add_text:
    input: 
        expand("identity_category{num}/{sample}.txt", num=NUM, sample=SAMPLE)
    output: 
        expand("{num}_added/{sample}_added.txt", num=NUM, sample=SAMPLE)
    run:
        for index in range(0,3):
            shell("python adding_text.py identity_category{num} {num}_added index")

当我尝试指定一个目标并通过 snakemake --cores 1 -n -s possible_snakefile 1_added/A_added.txt 执行干运行时，它错误地映射输入目录和相应的文件并抛出此错误：

MissingInputException in line 4 possible_snakefile:
Missing input files for rule add_text:
identity_category3/C.txt
identity_category2/A.txt
identity_category3/B.txt
identity_category2/B.txt
identity_category2/C.txt
identity_category3/A.txt

我相信它非常简单，但我无法理解它。即 possible_snakefile 中的不同通配符规范或在命令行中指定不同的目标文件。我很感激这里的帮助。谢谢

Answer 1

首先你的设计不是很好，因为它依赖于文件名的顺序。这意味着如果您在 identity_category{num} 目录中再添加一个文件，结果将会改变。这会使管道复杂化，使其难以预测，我建议您重新编写脚本并明确依赖关系。无论如何，在我的其余回答中，我会假设脚本是您无法更改的内容。

您需要指定一个目标：管道应生成的文件（或一组文件或目录）。该目标不应有通配符，因为目标应是明确的。使用您的脚本，目标是什么并不那么明显，但您可以指定您计划从管道中获取的 {num}_added 目录组：

rule target:
    input:
        expand("{num}_added", num=NUM)

注意这里的{num}不是通配符，因为它在expand函数中已经完全解析了。实际上这个函数会 return 一个包含三个元素的列表：["1_added", "2_added", "3_added"]，Snakemake 会知道要生成什么：

rule target:
    input:
        ["1_added", "2_added", "3_added"]

另外请注意，名称 target 是任意的，但这必须是您的 Snakefile 中最顶层的规则。

好的，现在 Snakemake 知道它需要生成 3 个对象，你可以指示它如何生成每个对象：

rule make_added:
    input:
        "identity_category{num}"
    output:
        "{num}_added"
    ...
    # some magic would come here later

此规则指示 Snakemake 生成单个 {num}_added 目录，它需要另一个目录 identity_category{num}，其中 {num} 必须匹配。这里的{num}是一个通配符，Snakemake会自动代入它的值，它会运行这个规则3次（实际上是len(NUM)次）

现在让我们调用您的脚本：

rule make_added:
    input:
        "identity_category{num}"
    output:
        "{num}_added"
    run:
        for index in range(0, 3):
            shell("python adding_text.py identity_category{wildcards.num} {wildcards.num}_added {index}")

这里不能简单的用名字来命名通配符。此外，您需要将变量 index 放入大括号中。

Snakemake 多个通配符和 argparse 参数

Snakemake multiple wildcards and argparse arguments

python

wildcard

argparse

snakemake