清除 Luigi 任务可视化器缓存
Clearing the Luigi Task Visualizer Cache
我正在使用 Luigi 测试管道，我注意到任务可视化器中存在奇怪的缓存行为。一方面，任务似乎会在缓存中停留一段时间，有时会与来自第二个 运行 管道的任务重叠，导致 UI 混乱。我还注意到，当两个管道连续 运行 时，新管道中的任务需要一段时间才能出现。有没有办法在每次 运行 之前手动重置缓存？是否有一个配置变量来设置任务在过期之前缓存多长时间？
您可以对调度程序使用 remove_delay 设置。在您的配置文件中：
[scheduler]
remove_delay = 10
这适用于调度程序，因此您需要重新启动 luigid 才能启用它。
来自文档：
Number of seconds to wait before removing a task that has no
stakeholders. Defaults to 600 (10 minutes).
根据经验，这种情况下的利益相关者似乎是指工人和 upstream/downstream 依赖关系。
我正在使用 Luigi 测试管道，我注意到任务可视化器中存在奇怪的缓存行为。一方面，任务似乎会在缓存中停留一段时间，有时会与来自第二个 运行 管道的任务重叠，导致 UI 混乱。我还注意到，当两个管道连续 运行 时，新管道中的任务需要一段时间才能出现。有没有办法在每次 运行 之前手动重置缓存？是否有一个配置变量来设置任务在过期之前缓存多长时间？
您可以对调度程序使用 remove_delay 设置。在您的配置文件中：
[scheduler]
remove_delay = 10
这适用于调度程序，因此您需要重新启动 luigid 才能启用它。
来自文档：
Number of seconds to wait before removing a task that has no stakeholders. Defaults to 600 (10 minutes).
根据经验，这种情况下的利益相关者似乎是指工人和 upstream/downstream 依赖关系。