通过 Azure 数据工厂将数据从 Blob 复制到 SQL
Copy Data from Blob to SQL via Azure data factory
我在 blob 中有两个示例文件 sample1.csv 和 sample2.csv,如下所示
data sample
SQL table name sample2, with column Name,id,last name,amount
创建了一个没有模式的 ADF 流,结果如下
preview data
源设置允许架构漂移检查。
接收器设置已打开自动映射。允许检查插入。 table 动作 none.
我也试过在数据集中设置一个定义模式,结果是一样的。
有什么帮助吗?
我的预期结果是 sample1 中的数据将空值插入列 "last name"
不能在同一个数据流执行中混合同一个源中的模式。
Schema Drift 将在每次执行的基础上处理对架构的更改。
但是如果您从一个文件夹中读取多个不同的架构,您将得到不确定的结果。
相反,如果您在 ForEach 管道中逐一循环这些文件,数据流将能够处理不断变化的架构。
如果我没理解错的话,你说的是:"my expected outcome would be data in sample1 will inserted null into the column last name
",你只需要在你的sample1.csv文件中添加一个derived column即可。
您可以按照我的步骤操作:
我在 Blob 存储中创建了一个 sample1.csv 文件,在我的 SQL 数据库中创建了一个 sample2 table:
使用 DerivedColumn 创建具有 null
值的新列 last name
:
表达式:toString(null())
接收器设置:
运行管道并检查table中的数据:
希望这对您有所帮助。
我在 blob 中有两个示例文件 sample1.csv 和 sample2.csv,如下所示
data sample
SQL table name sample2, with column Name,id,last name,amount
创建了一个没有模式的 ADF 流,结果如下
preview data
源设置允许架构漂移检查。 接收器设置已打开自动映射。允许检查插入。 table 动作 none.
我也试过在数据集中设置一个定义模式,结果是一样的。
有什么帮助吗?
我的预期结果是 sample1 中的数据将空值插入列 "last name"
不能在同一个数据流执行中混合同一个源中的模式。
Schema Drift 将在每次执行的基础上处理对架构的更改。
但是如果您从一个文件夹中读取多个不同的架构,您将得到不确定的结果。
相反,如果您在 ForEach 管道中逐一循环这些文件,数据流将能够处理不断变化的架构。
如果我没理解错的话,你说的是:"my expected outcome would be data in sample1 will inserted null into the column last name
",你只需要在你的sample1.csv文件中添加一个derived column即可。
您可以按照我的步骤操作:
我在 Blob 存储中创建了一个 sample1.csv 文件,在我的 SQL 数据库中创建了一个 sample2 table:
使用 DerivedColumn 创建具有
null
值的新列last name
:
表达式:toString(null())
接收器设置:
运行管道并检查table中的数据:
希望这对您有所帮助。