在 Azure 数据工厂管道中查找详细的错误信息

finding detailed error information in azure data factory pipeline

我的管道在更改后开始变得非常慢。 问题是由于错误导致副本跳过了行。

我能够撤消对列公式的更改,现在管道运行良好。 问题是没有迹象表明是什么导致了这个问题。

有没有办法获取有关 ADF 跳过行的原因的详细错误消息?

  1. 使用设置变量activity,我们可以在发生错误时捕获前面activity的详细错误信息。

    • 在设置变量失败时添加副本 activity 的输出。

    • 在管道级别创建一个变量来存储消息。

    • 当您 select 设置变量 activity 时,在变量下拉列表中,它会给出可用变量列表。 Select 为存储错误信息而创建的变量。

    • 我们将从之前的 activity 输出中捕获消息,而不是在值中对消息进行硬编码。为此,我们可以为值添加动态内容。

    • 在动态内容中添加表达式@activity('Copy data1').Error.MessageError.Message用于捕获错误信息。

    • 运行管道,你可以看到设置变量activity在复制activity失败时被触发。

    • 点击设置变量的输出,可以看到发生错误的详细错误信息。

  2. 您可以通过在副本activity中启用会话日志来记录跳过的行或跳过的文件,并将这些日志文件存储在存储位置。

    当您select“警告”作为日志记录级别时,它只会记录跳过的文件和跳过的行。

    activity 为 运行 后,日志文件可在链接路径中下载。

参考:Session log in copy activity