我们可以在 Azure 中自动化 ETL 吗?
Can we automate ETL in Azure?
我目前正在开展一个非常有趣的 ETL 项目,该项目使用 Azure 手动转换我的数据。但是,当我开始处理多个源文件时,手动转换数据可能会耗费大量时间和精力。我的管道目前工作正常,因为我只有几个文件要转换,但如果我有数千个 excel 文件怎么办?
所以我想要实现的是,我想扩展项目并使用逻辑应用程序提取来自电子邮件的 excel 文件,然后直接在它们之上应用 ETL。有什么方法可以在 Azure 中自动执行 ETL。我可以在不为不同类型的数据手动修改管道的情况下执行 ETL 吗?如何使我的管道灵活地处理各种类型的源数据的数据转换?
提前感谢您的帮助。
Can I do ETL without modifying the pipeline for a different type of
data manually?
根据您的描述,我想您已经知道 Logic App 支持 ADF connector。您可以在逻辑应用程序流中执行 ADF 管道,甚至可以将参数传递到 ADF 管道中。
通常情况下,source 和 sink 服务应该固定在一份中activity,但您可以在数据集中定义动态文件路径。所以你不需要创建多个复制活动。
如果数据类型不同,您可以尝试将参数从Logic App 传递到ADF。然后在数据传输之前,你可以使用开关activity将传输路由到不同的分支。
我目前正在开展一个非常有趣的 ETL 项目,该项目使用 Azure 手动转换我的数据。但是,当我开始处理多个源文件时,手动转换数据可能会耗费大量时间和精力。我的管道目前工作正常,因为我只有几个文件要转换,但如果我有数千个 excel 文件怎么办?
所以我想要实现的是,我想扩展项目并使用逻辑应用程序提取来自电子邮件的 excel 文件,然后直接在它们之上应用 ETL。有什么方法可以在 Azure 中自动执行 ETL。我可以在不为不同类型的数据手动修改管道的情况下执行 ETL 吗?如何使我的管道灵活地处理各种类型的源数据的数据转换?
提前感谢您的帮助。
Can I do ETL without modifying the pipeline for a different type of data manually?
根据您的描述,我想您已经知道 Logic App 支持 ADF connector。您可以在逻辑应用程序流中执行 ADF 管道,甚至可以将参数传递到 ADF 管道中。
通常情况下,source 和 sink 服务应该固定在一份中activity,但您可以在数据集中定义动态文件路径。所以你不需要创建多个复制活动。
如果数据类型不同,您可以尝试将参数从Logic App 传递到ADF。然后在数据传输之前,你可以使用开关activity将传输路由到不同的分支。