Azure 数据工厂 V2 探索管道依赖关系
Azure Data Factory V2 exploring pipeline dependencies
我正在处理很多管道,这涉及到管道之间的很多依赖关系。
由于以下几个原因,这并不理想:
- 很难知道如果您更改一个管道中的某些内容,其他哪些管道会受到影响
- 能够记录整个数据工厂结构
理想情况下,我应该能够“select”一个随机管道,并且能够知道它在执行前后都有哪些管道依赖性。
我正在考虑使用数据工厂 SDK 来尝试构建我所有管道的依赖结构。但我想我会把它扔出去看看是否有人为此找到了任何解决方案,或者在进入兔子洞之前有任何想法。
感谢任何建议。
布伦丹干杯
Brendan,我们的 ADF 已连接到 git,因此当我需要知道如果更改名称为 somePipelineName
的管道会受到什么影响时,我转到 git bash 然后输入
grep --color=always -4 "somePipelineName" *
在管道文件夹中
这有助于我找到可能调用管道的所有位置。
更新时间:2020-09-17
我今天注意到我们现在有相关的管道列表
我正在处理很多管道,这涉及到管道之间的很多依赖关系。
由于以下几个原因,这并不理想:
- 很难知道如果您更改一个管道中的某些内容,其他哪些管道会受到影响
- 能够记录整个数据工厂结构
理想情况下,我应该能够“select”一个随机管道,并且能够知道它在执行前后都有哪些管道依赖性。
我正在考虑使用数据工厂 SDK 来尝试构建我所有管道的依赖结构。但我想我会把它扔出去看看是否有人为此找到了任何解决方案,或者在进入兔子洞之前有任何想法。
感谢任何建议。
布伦丹干杯
Brendan,我们的 ADF 已连接到 git,因此当我需要知道如果更改名称为 somePipelineName
的管道会受到什么影响时,我转到 git bash 然后输入
grep --color=always -4 "somePipelineName" *
在管道文件夹中
这有助于我找到可能调用管道的所有位置。
更新时间:2020-09-17
我今天注意到我们现在有相关的管道列表