如何在 CICD 期间更新 ADF 管道级参数
How to update ADF Pipeline level parameters during CICD
作为 ADF CICD 的新手,我目前正在探索如何在将管道从一个环境部署到另一个环境时更新管道范围的参数。
这是详细的场景 -
我有一个简单的 ADF 管道,其中包含一个副本 activity 将文件从一个 blob 容器移动到另一个
示例 - 下面有副本 activity 并且管道有两个名为 :
的参数
1- SourceBlobContainer
2- SinkBlobContainer
使用它们的默认值。
以下是如何配置数据集以使用这些管道范围的参数。
由于这是开发环境,因此可以使用默认值。但是测试环境中的容器名称将完全不同(例如 "TestSourceBlob" 和 "TestSinkBlob")。
话虽如此,当 CICD 发生时,它应该通过更新这些参数的默认值通过 CICD 过程来处理。
阅读文档时,我找不到处理此类用例的地方。
这是我提到的一些链接 -
'ADF_Publish' 分支中还有另一种与 ARM 模板相反的方法。
许多公司都利用了这种解决方法,而且效果很好。
我花了几天时间构建了一个全新的 PowerShell 模块,以从您的主分支或直接从您的本地计算机发布整个 Azure 数据工厂代码。该模块解决了迄今为止任何其他解决方案中存在的所有问题,包括:
- 替换 JSON 文件(ADF 对象)中的任何 属性,
- 以适当的顺序部署对象,
- 对象的部署部分,
- 正在删除源中不再存在的对象,
- stop/start 触发器等
该模块在 PS 图库中公开可用:azure.datafactory.tools
源代码和完整文档位于 GitHub here.
如果您有任何问题或疑虑,请告诉我。
作为 ADF CICD 的新手,我目前正在探索如何在将管道从一个环境部署到另一个环境时更新管道范围的参数。
这是详细的场景 -
我有一个简单的 ADF 管道,其中包含一个副本 activity 将文件从一个 blob 容器移动到另一个
示例 - 下面有副本 activity 并且管道有两个名为 :
的参数
1- SourceBlobContainer
2- SinkBlobContainer
使用它们的默认值。
以下是如何配置数据集以使用这些管道范围的参数。
由于这是开发环境,因此可以使用默认值。但是测试环境中的容器名称将完全不同(例如 "TestSourceBlob" 和 "TestSinkBlob")。
话虽如此,当 CICD 发生时,它应该通过更新这些参数的默认值通过 CICD 过程来处理。
阅读文档时,我找不到处理此类用例的地方。
这是我提到的一些链接 -
'ADF_Publish' 分支中还有另一种与 ARM 模板相反的方法。
许多公司都利用了这种解决方法,而且效果很好。
我花了几天时间构建了一个全新的 PowerShell 模块,以从您的主分支或直接从您的本地计算机发布整个 Azure 数据工厂代码。该模块解决了迄今为止任何其他解决方案中存在的所有问题,包括:
- 替换 JSON 文件(ADF 对象)中的任何 属性,
- 以适当的顺序部署对象,
- 对象的部署部分,
- 正在删除源中不再存在的对象,
- stop/start 触发器等
该模块在 PS 图库中公开可用:azure.datafactory.tools
源代码和完整文档位于 GitHub here.
如果您有任何问题或疑虑,请告诉我。