Databricks Jobs - 有没有办法重新启动失败的任务而不是整个管道?
Databricks Jobs - Is there a way to restart a failed task instead of the whole pipeline?
例如,如果我有一个(多任务)Databricks 作业,其中包含 3 个串联任务,而第二个任务失败了 - 有没有办法从第二个任务开始,而不是再次 运行 整个管道?
目前这是不可能的,但如果您参考 Databrick's Q3 (2021) public roadmap,有一些关于改进多任务作业的项目。
如果您是 运行 Azure 上的 Databricks,则可以通过 Azure 数据工厂实现。
例如,如果我有一个(多任务)Databricks 作业,其中包含 3 个串联任务,而第二个任务失败了 - 有没有办法从第二个任务开始,而不是再次 运行 整个管道?
目前这是不可能的,但如果您参考 Databrick's Q3 (2021) public roadmap,有一些关于改进多任务作业的项目。
如果您是 运行 Azure 上的 Databricks,则可以通过 Azure 数据工厂实现。