如何使用数据工厂将 IoT 中心存储的 blob 复制到 Azure SQL
How to copy IoT Hub stored blobs to an Azure SQL using Data Factory
我们正在使用 IoT 中心路由功能将消息存储到 Azure Blob 容器中。默认情况下，它以分层方式存储消息 - 为年、月、日等创建文件夹结构。在每天的文件夹中，它会创建多个块 blob 二进制文件。每个文件可能包含多个 JSON 个对象，每个对象代表一个唯一的 IoT 遥测消息。
如何使用 Azure 数据工厂将每条消息复制到 Azure SQL 数据库中？
Screenshot from Azure Storage Explorer
A sample blob file containing multiple messages
似乎所有文件都具有相同的 json 架构。然后你就可以按照我的步骤去做了。
我在我的容器中创建了一个文件夹 csv，并且有几个包含 json 数据的 csv 文件：
源数据集：csv文件中的数据是json格式，所以我选择json格式的文件。
- 选择容器：测试
- 导入架构(.json)
源设置：使用通配符文件路径选择容器中的所有文件夹和文件。
接收器设置：
映射：
运行 管道并在接收器中检查结果 table：
我们正在使用 IoT 中心路由功能将消息存储到 Azure Blob 容器中。默认情况下，它以分层方式存储消息 - 为年、月、日等创建文件夹结构。在每天的文件夹中，它会创建多个块 blob 二进制文件。每个文件可能包含多个 JSON 个对象，每个对象代表一个唯一的 IoT 遥测消息。
如何使用 Azure 数据工厂将每条消息复制到 Azure SQL 数据库中？
Screenshot from Azure Storage Explorer
A sample blob file containing multiple messages
似乎所有文件都具有相同的 json 架构。然后你就可以按照我的步骤去做了。
我在我的容器中创建了一个文件夹 csv，并且有几个包含 json 数据的 csv 文件：
源数据集：csv文件中的数据是json格式，所以我选择json格式的文件。
- 选择容器：测试
- 导入架构(.json)
源设置：使用通配符文件路径选择容器中的所有文件夹和文件。
接收器设置：
映射：
运行 管道并在接收器中检查结果 table：