Azure 数据工厂 v2 数据转换

Azure Data Factory v2 Data Transformation

我是 Azure 数据工厂的新手。我的问题是,我需要将数据从本地 Oracle 和本地 SQL 服务器移动到 Blob 存储。数据需要转换成JSON格式。每行作为一个 JSON 文件。这将被移动到事件中心。我怎样才能做到这一点。有什么建议。

作为 Azure 数据工厂一部分的 Data copy tool 是一个将本地数据复制到 Azure 的选项。 数据复制工具带有一个配置向导,您可以在其中执行所有必需的步骤,例如配置源、接收器、集成管道等。 在源代码中,您需要编写一个自定义查询以从您需要的 json 格式的表中获取数据。

在 SQL 服务器到 select json 的情况下,您将使用选项 OPENJSON, FOR JSON AUTO 将行转换为 json。 SQL 2016 年支持。对于旧版本,您需要探索可用的选项。最坏的情况是,您可以使用 C#/java 编写一个简单的控制台应用程序来获取行,然后将它们转换为 json 文件。然后您可以将文件上传到 azure blob 存储。如果这是一次性 activity 此选项应该有效,您可能不需要数据工厂。

对于 ORACLE,您可以使用 JSON_OBJECT 函数。

您可以使用查找 activity + foreach activity。在foreach里面,有一个副本activity。请参考此 post。