是否可以向 Azure 数据工厂管道中的数据添加具有特定值的列
Is it possible to add a column with specific value to data in azure data factory pipeline
我正在将数据从系统 X 复制到 blob 存储作为 parquet 文件或 excel 文件是否可以再添加一个步骤来帮助我使用管道再添加一列 运行 ID 或触发器 ID?
提前致谢
您从哪里提取数据?如果它是一个数据库,这很容易,因为您可以将它添加到 selecting 数据时使用的 sql 语句中。例如:
select *, NewColumn='Value' from yourTable
如果您想要针对每个可能的数据源的解决方案,您可以在数据流中使用派生列转换:https://docs.microsoft.com/en-us/azure/data-factory/data-flow-derived-column
您还可以使用字符串函数从管道本身添加数据,例如:
@concat('select *, pipeId= ''', pipeline().RunId,''' from SalesLT.Address')
这将 select 所有字段,以及一个名为 pipeId 的附加字段,它对每一行具有相同的值,并且将是管道 运行 id。
希望对您有所帮助!!
我正在将数据从系统 X 复制到 blob 存储作为 parquet 文件或 excel 文件是否可以再添加一个步骤来帮助我使用管道再添加一列 运行 ID 或触发器 ID?
提前致谢
您从哪里提取数据?如果它是一个数据库,这很容易,因为您可以将它添加到 selecting 数据时使用的 sql 语句中。例如:
select *, NewColumn='Value' from yourTable
如果您想要针对每个可能的数据源的解决方案,您可以在数据流中使用派生列转换:https://docs.microsoft.com/en-us/azure/data-factory/data-flow-derived-column
您还可以使用字符串函数从管道本身添加数据,例如:
@concat('select *, pipeId= ''', pipeline().RunId,''' from SalesLT.Address')
这将 select 所有字段,以及一个名为 pipeId 的附加字段,它对每一行具有相同的值,并且将是管道 运行 id。
希望对您有所帮助!!