Databricks笔记本硬编码

Question

我有一个数据块和一个存储帐户，每个用于开发和生产环境。从开发区域到生产区域的代码提升是通过 Azure DevOps CI/CD 管道完成的。在 dev 中，目标文件路径配置为 dev adls，在 prod 环境中应更改为 prod adls。有没有一种方法可以删除此硬编码并使用 DevOps 实现代码提升？

Answer 1

是的，你绝对可以做到。

在 prod Databricks 中，只需将它们存储为环境变量（可以手动设置或使用 cluster configure

通常，我会设置这些变量：

• ADLS 存储名称
• 访问键

这样，您就不需要在代码中对这些变量进行硬编码。而且，这样更安全。

参考：https://docs.databricks.com/data/data-sources/azure/adls-gen2/azure-datalake-gen2-get-started.html#get-an-azure-adls-access-key