从数据工厂调用特定分支中的 Databricks 笔记本?

Call Databricks notebook in a specific branch from Data Factory?

我正在使用新的 Databricks Repos 功能和数据工厂 UI 笔记本 activity 您可以浏览 Databricks 工作区和 select Repos > 用户名 > 项目 > 文件夹> 笔记本。

是否可以从数据工厂调用特定分支中的 Databricks 笔记本?

您可以从数据工厂调用特定分支中的 Databricks 笔记本。

Select Azure Databricks activity。转到设置。

这里可以提到具体的notebook路径。

您(现在)只能调用属于特定版本结帐的笔记本 - 如果您在另一个版本中结帐,则无法调用另一个版本。例如,如果您在 master 结帐但想从 release 分支调用代码,那么您需要对该分支进行结帐。

但您可能有多个与同一个 Git 存储库相关联的存储库,但检出了不同的版本。

您无法从数据工厂调用 Databricks 中的特定分支。我们的解决方案是在具有相同存储库但不同分支的 Databricks 中创建多个文件夹。

使用数据工厂中的动态内容,我们可以从 SQL 服务器加载路径并调用它们。 (或者在 DF 中使用 if/else 和 vars 对其进行硬编码)。