将多个 csv 文件从 Blob 容器批量复制到 Azure SQL 数据库
Bulk copy multiple csv files from Blob Container to Azure SQL Database
环境:
MS Azure:
Blob 容器,多个 csv 文件保存在一个文件夹中。这是我的消息来源。
Azure Sql 数据库。这是我的目标
目标:
使用 Azure 数据工厂并构建管道以“复制”容器中的所有文件,并通过自动创建 tables 将它们存储在 Azure Sql 数据库中各自的 tables 中。
我该怎么做?我尝试关注 ,但最终我在数据库中错误地创建了 table,其中 table 是使用与 table 名称同名的单个列创建的。
我相信我按照 link 中的说明进行了操作。
我的CSV文件如下,一栏包含table名字。
前面的步骤不再重复,与相同。
在 Foreach activity 中的第 3 步,我们应该添加一个查找 activity 以从源数据集中查询 table 名称。
我们可以先声明一个String类型变量tableName
,然后通过表达式@activity('Lookup1').output.firstRow.tableName
设置值。
Copyactivity的sink设置,我们可以输入@variables('tableName')
。
ADF 会自动为我们创建 table。
调试结果如下:
环境:
MS Azure: Blob 容器,多个 csv 文件保存在一个文件夹中。这是我的消息来源。 Azure Sql 数据库。这是我的目标
目标: 使用 Azure 数据工厂并构建管道以“复制”容器中的所有文件,并通过自动创建 tables 将它们存储在 Azure Sql 数据库中各自的 tables 中。
我该怎么做?我尝试关注
我相信我按照 link 中的说明进行了操作。
我的CSV文件如下,一栏包含table名字。
前面的步骤不再重复,与
在 Foreach activity 中的第 3 步,我们应该添加一个查找 activity 以从源数据集中查询 table 名称。
我们可以先声明一个String类型变量
tableName
,然后通过表达式@activity('Lookup1').output.firstRow.tableName
设置值。Copyactivity的sink设置,我们可以输入
@variables('tableName')
。ADF 会自动为我们创建 table。
调试结果如下: