Azure Databricks 管道因依赖性而失败

Azure Databricks pipeline failing because of dependency

我们有一个 Databricks 管道,它每 6 小时运行一次,大部分时间它运行成功,但有时它会因抛出以下错误而失败

ModuleNotFoundError: No module named '<module-name>'

我是 Databricks 的新手,谁能告诉我如何修复它。

一些依赖库在基础环境中将无法正常工作。强烈建议创建虚拟环境。

按照 link 在 Data Bricks 中创建虚拟环境:https://docs.microsoft.com/en-us/azure/databricks/runtime/conda

参考以下link连接pyodbc和databricks。

https://docs.databricks.com/dev-tools/pyodbc.html