带有生成许多中间文件的脚本的 Snakemake

Question

我想知道为包含许多中间文件的脚本编写规则的最佳做法是什么？

一个R脚本示例是这样的：


data <- read_rds(snakemake@input[["data"]])

# generate and save many plots for sanity check
plt1
ggsave("plt1.pdf", plt1) 

plt2
ggsave("plt2.pdf", plt2)

# and many other figs

# No actual output

我写的规则：

rule transform:
  input:
    data : "data.rds"
  output:
    touch("script.Rout")
  script: "script.R"

请注意没有来自 script.R 的实际输出。该文件主要用作一些合理性检查（在运行这条规则之后手动完成）通过绘制一些草图。这些数字将不会用作未来工作流程的任何输入。

这种情况下，我的解决方案合适吗？有没有更好的方法？

谢谢！

Answer 1

既然你没有将这些文件用于任何其他用途，那应该没问题。

虽然有一个明确列出输出的参数。这将为通过 snakemake 删除所有输出文件提供支持，并将检测脚本中途无提示失败的情况。如果输出真的是 figure{i}.pdf，就像添加 expand('figure{i}.pdf', i=range(MAX).

一样简单

Answer 2

Snakemake 规则实际上不需要声明任何输出，因此您可以简单地省略输出位。

一般来说，出于以下原因，最好明确说明规则的输出：

Snakemake 检查输出是否实际生成，并在规则完成后未生成输出时提供信息性错误消息。
Snakemake 可以删除生成的所有输出（--delete-all-output），但前提是输出已声明。

声明和创建输出（就像通过 touch 一样）的另一个原因是该规则可以自动被另一个规则调用。假设您有一个触发实际数据分析的“全部规则”，但您也希望它创建绘图。然后您可以将 script.Rout 声明为该规则的输入，脚本将自动被调用。

由于 script.Rout 是一个空文件，声明可能只是为了让另一个文件可以自动执行此规则，您可以向它添加一个 temp，以便它最终被删除并且你不必自己清理它：

output: temp(touch("script.Rout"))

带有生成许多中间文件的脚本的 Snakemake

Snakemake with a script generating many intermediate files

snakemake