Azure 数据工厂 - 如何禁用管道?

Azure Data Factory - How to disable a pipeline?

我有一个要发布的数据工厂,但是我想延迟 运行ning 的其中一个管道,因为它使用的共享资源还没有完全准备好。

如果可能,我想允许之前的管道运行,然后在资源准备就绪时启用下游管道。

如何禁用管道以便稍后重新启用它?

右键单击 "Monitor and Manage" 应用程序中的管道,然后 select "Pause Pipeline"。

直接在 ADF 中不太可能。但是,我认为您有几种选择来处理这个问题。

选项 1.

链接活动中的数据集以强制执行假依赖,使第二个 activity 等待。这有点笨拙,需要提供假数据集。但可以工作。

选项 2.

使用 PowerShell 之类的工具在更高级别对其进行管理。

例如:

使用以下 cmdlet 检查第一个 activity 的状态,并可能在某种循环过程中等待。

Get-​Azure​Rm​Data​Factory​Activity​Window

接下来,根据需要使用以下 cmdlet pause/unpause 下游管道。

Suspend-​Azure​Rm​Data​Factory​Pipeline

希望对您有所帮助。

  1. 您提到了发布,因此如果您通过 Visual Studio 发布,可以通过在 .json 中将其 属性 "isPaused" 设置为 true 来禁用管道管道配置文件。

Property for making pipeline paused

  1. 您可以通过单击正在使用的数据工厂中的“监视和管理”来禁用管道。然后单击管道,在左上角有两个选项:
    • 暂停:不会终止当前 运行 作业,但不会启动下一个
    • 终止:终止所有作业实例(以及不启动未来的作业实例)

GUI disabling pipeline

(提示:暂停和终止的管道为橙色,恢复为绿色)

  1. 使用 powershell cmdlet 检查 activity

    的状态

    Get- Azure Rm Data Factory Activity Window

根据需要使用 powershell cmdlet pause/unpause 管道。

Suspend-​Azure​Rm​Data​Factory​Pipeline

编辑您的触发器并确保已激活已选中否。当然不要忘记发布您的更改!

如果您使用的是 ADF V2 并且您的管道计划 运行 使用触发器,请检查您的管道使用哪个触发器。然后转到“管理”选项卡并单击“作者”->“触发器”。在那里你可以选择停止触发器。停止触发器后发布更改。