Azure 数据工厂在插入数据库之前合并到文件
Azure Data Factory Merge to files before inserting in to DB
我们有两个文件，分别是 ^ 分隔文件和逗号分隔的 txt 文件，它们存储在 Blob 存储中，如下所示
File1 字段类似于
ItemId^Name^c1^type^count^code^Avail^status^Ready
File2 字段像
ItemId,Num,c2
这两个文件中的第一列是键，基于它我需要使用 Azure 数据工厂将它们插入到 Azure 数据库中的一个 table 中。谁能建议如何在 ADF 中完成此操作。我们是否应该在插入数据库之前将两个文件合并为一个文件。
AzureDB 列是
ItemId Name c1 type count code Avail status Ready Num c2
所以应该是这样的
Item1 ABC(S) 1234 Toy 10 N N/A POOL N/A 19 EM
Item2 DEF(S) 5678 toy 7 X N/A POOL N/A 6 MP
我指的是这个 Merging two or more files from a storage account based on a column using Azure Data Factory 但无法理解我们是否可以在插入到 DB 之前合并这两个文件
您可以使用这 2 个文件创建 2 个数据集，使用 join activity 将它们连接在一起并简单地汇入数据流中的 SQL table。
这里使用的是Inner join，你可以根据自己喜欢的join类型进行调整。
您可以看到连接的预览成功合并了 2 个 files/data 个源。
根据需要调整接收器中的字段映射。
这里是箭头-separated.csv我用的是：
ItemId^Name^c1^type^count^code^Avail^status^Ready
Item1^ABC(S)^1234^Toy^10^N^N/A^POOL^N/A
Item2^DEF(S)^5678^toy^7^X^N/A^POOL^N/A
这里是我用的逗号-separated.csv：
ItemId,Num,c2
Item1,19,EM
Item2,6,MP
数据库中的结果：
我们有两个文件，分别是 ^ 分隔文件和逗号分隔的 txt 文件，它们存储在 Blob 存储中，如下所示
File1 字段类似于
ItemId^Name^c1^type^count^code^Avail^status^Ready
File2 字段像
ItemId,Num,c2
这两个文件中的第一列是键，基于它我需要使用 Azure 数据工厂将它们插入到 Azure 数据库中的一个 table 中。谁能建议如何在 ADF 中完成此操作。我们是否应该在插入数据库之前将两个文件合并为一个文件。
AzureDB 列是
ItemId Name c1 type count code Avail status Ready Num c2
所以应该是这样的
Item1 ABC(S) 1234 Toy 10 N N/A POOL N/A 19 EM
Item2 DEF(S) 5678 toy 7 X N/A POOL N/A 6 MP
我指的是这个 Merging two or more files from a storage account based on a column using Azure Data Factory 但无法理解我们是否可以在插入到 DB 之前合并这两个文件
您可以使用这 2 个文件创建 2 个数据集，使用 join activity 将它们连接在一起并简单地汇入数据流中的 SQL table。
根据需要调整接收器中的字段映射。
这里是箭头-separated.csv我用的是：
ItemId^Name^c1^type^count^code^Avail^status^Ready
Item1^ABC(S)^1234^Toy^10^N^N/A^POOL^N/A
Item2^DEF(S)^5678^toy^7^X^N/A^POOL^N/A
这里是我用的逗号-separated.csv：
ItemId,Num,c2
Item1,19,EM
Item2,6,MP
数据库中的结果：