Databricks 作业在异常后没有失败

Question

我有一个运行我的 Python 笔记本的 Databricks 作业。我是运行 Databricks 7.4 lts。此作业通过 Powershell 触发。

如果管道中出现问题，我会引发异常。未捕获此异常。但是，作业在引发异常后不会显示为“失败”。相反，作业显示“成功”。我可以在作业日志中看到异常。

为什么作业没有显示为失败？

if pipeline_failure:
    raise Exception("Job should show failed")

Answer 1

在 Databricks Python notebook 中，我在同一个单元格中调用了 display(dataframe) 和 raise Exception()。

具体来说，display() 正好在 Exception() 之前

将 display(dataframe) 移出与 Exception() 语句相同的单元格后，Databricks 作业在引发异常时显示“失败”。

Databricks job not failing after Exception