多个 Azure DevOps 项目 GIT 与单个 Azure Databricks 存储库
several Azure DevOps project GITs vs single Azure Databricks repository
我们在 Azure 上有几个项目 运行。
由于它们需要彼此分离,我们需要为每个项目建立一个 Azure 数据工厂(因为 ADF 本身没有 ACL)。
每个项目都将通过 DevOps 拥有自己的 GIT 存储库(每个项目都有自己的 DevOps 项目,所以分开 GITs),我们最终将每个项目的 ADF 连接到它们自己的 GIT .
所以我们有:
Project1.ADF <-> 项目 1.DevOpsProject1.GIT
Project2.ADF <-> 项目 2.DevOpsProject2.GIT
我们希望能够从每个 ADF 连接到 Azure Databricks。我们希望避免因成本而增加 Azure Databricks(加上 databricks 中有我们可以使用的 ACL)。但是,databricks 工作区只能连接到单个 GIT 存储库。因此,如果每个项目都在相同的数据块上工作,那么我们需要一个在不同项目之间共享的数据块存储库。
除了项目 1 中的存储库。DevOps1.GIT 以及共享给项目 2 的存储库(反之亦然),还有更好的方法吗?
这实际上比我想象的要简单得多 - 您可以在每个笔记本上指定要连接的 GIT 存储库。
所以我们仍然可以
Project1.ADF <-> 项目 1.DevOpsProject1.GIT
Project1.Databricks <-> 项目 1.DevOpsProject1.GIT
Project2.ADF <-> 项目 2.DevOpsProject2.GIT
Project2.Databricks <-> 项目 2.DevOpsProject2.GIT
我们在 Azure 上有几个项目 运行。
由于它们需要彼此分离,我们需要为每个项目建立一个 Azure 数据工厂(因为 ADF 本身没有 ACL)。 每个项目都将通过 DevOps 拥有自己的 GIT 存储库(每个项目都有自己的 DevOps 项目,所以分开 GITs),我们最终将每个项目的 ADF 连接到它们自己的 GIT . 所以我们有:
Project1.ADF <-> 项目 1.DevOpsProject1.GIT
Project2.ADF <-> 项目 2.DevOpsProject2.GIT
我们希望能够从每个 ADF 连接到 Azure Databricks。我们希望避免因成本而增加 Azure Databricks(加上 databricks 中有我们可以使用的 ACL)。但是,databricks 工作区只能连接到单个 GIT 存储库。因此,如果每个项目都在相同的数据块上工作,那么我们需要一个在不同项目之间共享的数据块存储库。
除了项目 1 中的存储库。DevOps1.GIT 以及共享给项目 2 的存储库(反之亦然),还有更好的方法吗?
这实际上比我想象的要简单得多 - 您可以在每个笔记本上指定要连接的 GIT 存储库。 所以我们仍然可以
Project1.ADF <-> 项目 1.DevOpsProject1.GIT
Project1.Databricks <-> 项目 1.DevOpsProject1.GIT
Project2.ADF <-> 项目 2.DevOpsProject2.GIT
Project2.Databricks <-> 项目 2.DevOpsProject2.GIT