Azure 数据工厂 V2 从 Blob 存储复制 Activity 到数据仓库
Azure Data Factory V2 Copy Activity to Data Warehouse from Blob storage
我正在使用 ADF v2 将数据从 Blob 存储上的 CSV 源导入到 Azure SQL Dat Warehouse。我在管道中的第一个 Activity 是从 CSV(在热 blob 存储上)复制 activity 到 Azure SQL DWH。如果此 activity 成功完成,下一个再次复制 activity 但现在从 CSV(在热 blob 存储上)到 CSV(在冷 blob 存储上),移动历史和存储定价优化过程。 CSV 文件的文件名作为管道参数发送到管道。
我注意到,如果我使用 blob 存储中不存在的 csv 的文件名参数启动管道,则首先复制 activity(CSV -> DWH)无误地完成。它没有向 DWH 导入任何数据,这是正常的,但不会引发丢失文件的错误。 Next Copy activity (CSV 热存储 -> CSV 冷存储) raise Failed error -> blob is missing.
我还想复制到 DWH 以引发错误,因为这样我可以在管道中添加其他 activity 来处理这种情况。在某处记录错误,将文件标记为丢失等
在没有源 blob 存在的情况下成功完成从存储复制 activity 到 DWH 的具体内容是什么?我在 activity 的 Sink 部分使用 polybase 复选框,如果这很重要的话。
有谁知道如果源 blob 不存在,如何将此副本 activity(存储 CSV -> SQL DWH)设置为失败?
谢谢
是的。
您可以在 if activity 中放置任意数量的活动。
因此,您可以使用 getMetadata activity 获取有关 blob 存储的详细信息(检查文档中是否存在 属性,下方 link)。
https://docs.microsoft.com/en-us/azure/data-factory/control-flow-get-metadata-activity
我正在使用 ADF v2 将数据从 Blob 存储上的 CSV 源导入到 Azure SQL Dat Warehouse。我在管道中的第一个 Activity 是从 CSV(在热 blob 存储上)复制 activity 到 Azure SQL DWH。如果此 activity 成功完成,下一个再次复制 activity 但现在从 CSV(在热 blob 存储上)到 CSV(在冷 blob 存储上),移动历史和存储定价优化过程。 CSV 文件的文件名作为管道参数发送到管道。
我注意到,如果我使用 blob 存储中不存在的 csv 的文件名参数启动管道,则首先复制 activity(CSV -> DWH)无误地完成。它没有向 DWH 导入任何数据,这是正常的,但不会引发丢失文件的错误。 Next Copy activity (CSV 热存储 -> CSV 冷存储) raise Failed error -> blob is missing.
我还想复制到 DWH 以引发错误,因为这样我可以在管道中添加其他 activity 来处理这种情况。在某处记录错误,将文件标记为丢失等
在没有源 blob 存在的情况下成功完成从存储复制 activity 到 DWH 的具体内容是什么?我在 activity 的 Sink 部分使用 polybase 复选框,如果这很重要的话。
有谁知道如果源 blob 不存在,如何将此副本 activity(存储 CSV -> SQL DWH)设置为失败?
谢谢
是的。 您可以在 if activity 中放置任意数量的活动。 因此,您可以使用 getMetadata activity 获取有关 blob 存储的详细信息(检查文档中是否存在 属性,下方 link)。
https://docs.microsoft.com/en-us/azure/data-factory/control-flow-get-metadata-activity