如何让 Luigi 任务生成一个内存列表作为目标

How to make a Luigi task generate an in-memory list as target

我正在尝试使用 luigi 编写一个 etl 管道。据我从文档中了解到,luigi 中的任务可以生成一个目标,该目标可以是某种类型的文件存储或数据库。为了减少处理时间,我希望将内存列表作为输出。这可能吗?我必须创建自定义目标吗?

我发现我可以使用 MockFile 作为目标。一个很好的例子:

http://gouthamanbalaraman.com/blog/building-luigi-task-pipeline.html