在 Luigi 中访问不同类型的预设目标位置

Question

我有一个 luigi 管道。有一个文件 Google Cloud 被设置为目标位置：

https://github.com/macarthur-lab/hail-elasticsearch-pipelines/blob/d6e9dedbce929c04c294c54095663ba94a4de3f0/luigi_pipeline/lib/hail_tasks.py#L37

现在，有 run_vep() 方法调用其他方法，最终调用以下方法，不同 run_vep():

https://github.com/macarthur-lab/hail-elasticsearch-pipelines/blob/d6e9dedbce929c04c294c54095663ba94a4de3f0/hail_scripts/v02/utils/hail_utils.py#L103

我们正在使用 Google Cloud 路径访问文件，但我现在想访问本地文件。有没有办法临时更改 luigi 查找文件的位置？问题是我有两个位置 luigi 应该从哪里获取文件，并且需要它们都可以访问，而不仅仅是一个或另一个。如何在 luigi 中处理此问题？

Answer 1

事实证明，他们的函数 hl.vep() 实际上期望 config 应该有本地路径，而不是 hadoop。指定本地路径后，事情对我有用。知道如何直接访问这个或那个文件系统仍然很有趣，因为 hl.vep() 的源代码也可能有用。