如何在 Luigi 中创建非持久化任务?

How to create non persisted tasks in Luigi?

作为 Luigi 管道的一部分,我们希望使用 POST 请求通知等待计算数据的微服务。

直到现在我们都在使用 RunAnywayTarget,但如果我们启动 Luigi 的速度快于数据更改的速度,那将是一个问题。所以我的问题是,

创建在管道中执行某些操作但不创建任何数据的任务的最佳模式是什么,例如向 REST 服务发出 POST 请求,向 Kafka 发送消息, ETC...?

我知道我可以创建一个没有输出的任务,它在 运行 方法中执行请求,但是如果由于某种原因结束,这个 NotificationTask 应该如何重新 运行服务在第一个 运行 期间失败?依赖关系将在那里,不会再 运行。

我会继续为任务创建一个独特的输出,即使该输出未在您的进一步处理中使用。它只是一个标记,表明具有特定输入集的任务已成功完成。您可以做一个简单的 FileTarget、PostgresTarget 等