当 运行 数据流时,Azure 数据工厂运行时看起来不同
Azure Data Factory runtime looks different when running Dataflow
我正在试用 Azure 数据工厂 V2。我 运行 一个 DB 提取并将输出汇入 Blob。当我使用 DataFlow 时,生成的文件会像 Spark 输出样式一样分成几部分。这是因为 Spark 集群是 运行 时间(我假设)。但是,当我 运行 一个“正常”管道(无数据流)时,输出似乎不同,例如输出甚至可以是单个文件。所以我的问题是:管道和数据流之间是否存在 运行 时间差?谢谢
您看到的区别是复制 Activity 基础架构与数据流 activity 基础架构。
复制是为快速数据移动而构建的,而数据流是为横向扩展数据转换而构建的。
数据流概述文档中的图表可能会有所帮助:https://docs.microsoft.com/en-us/azure/data-factory/concepts-data-flow-overview
我正在试用 Azure 数据工厂 V2。我 运行 一个 DB 提取并将输出汇入 Blob。当我使用 DataFlow 时,生成的文件会像 Spark 输出样式一样分成几部分。这是因为 Spark 集群是 运行 时间(我假设)。但是,当我 运行 一个“正常”管道(无数据流)时,输出似乎不同,例如输出甚至可以是单个文件。所以我的问题是:管道和数据流之间是否存在 运行 时间差?谢谢
您看到的区别是复制 Activity 基础架构与数据流 activity 基础架构。
复制是为快速数据移动而构建的,而数据流是为横向扩展数据转换而构建的。
数据流概述文档中的图表可能会有所帮助:https://docs.microsoft.com/en-us/azure/data-factory/concepts-data-flow-overview