Azure 数据工厂通配符
Azure Data Factory Wildcard Characters
我得到了一个通常放置 .csv 文件的 sftp 位置,我们使用 ADF Copy activity 处理或提取存在于那里的文件。当没有文件存在并且我们给出了确切的文件名和 运行 管道时,它会如预期的那样失败。但是当我们给一个通配符,如 abc*.csv 和 运行 管道时,在 sftp 位置没有文件,副本 activity 通过写入的行是 0。谁能告诉我为什么这发生。我们正在使用 Adf v2.
这个问题的答案是微妙的。这是区别:
当您提供准确的文件名但文件不存在时,数据工厂会尝试获取它,但请求会返回 'file not found' 错误。这被传递到 activity,并被认为是失败的。
当你给通配符的时候,这真的是在问"Get me a list of files that fit this pattern, and then Copy each of them"。当没有文件匹配模式时,结果是一个空列表。由于列表长度为 0,因此不会发出获取任何文件的请求,这意味着没有机会收到 'file not found' 错误。
这是我根据使用数据工厂的经验得出的结论。我不是开发团队的成员。
我得到了一个通常放置 .csv 文件的 sftp 位置,我们使用 ADF Copy activity 处理或提取存在于那里的文件。当没有文件存在并且我们给出了确切的文件名和 运行 管道时,它会如预期的那样失败。但是当我们给一个通配符,如 abc*.csv 和 运行 管道时,在 sftp 位置没有文件,副本 activity 通过写入的行是 0。谁能告诉我为什么这发生。我们正在使用 Adf v2.
这个问题的答案是微妙的。这是区别:
当您提供准确的文件名但文件不存在时,数据工厂会尝试获取它,但请求会返回 'file not found' 错误。这被传递到 activity,并被认为是失败的。
当你给通配符的时候,这真的是在问"Get me a list of files that fit this pattern, and then Copy each of them"。当没有文件匹配模式时,结果是一个空列表。由于列表长度为 0,因此不会发出获取任何文件的请求,这意味着没有机会收到 'file not found' 错误。
这是我根据使用数据工厂的经验得出的结论。我不是开发团队的成员。