如何在 json 中为 Azure 数据工厂 (adf) 中的副本 activity 添加默认日期,同时在 SQL 源和接收器之间动态映射列
How to Add default date in json for copy activity in azure data factory(adf) while dynamic mapping of columns between SQL source and sink
SQL 源和接收器之间的副本 activity 中的动态列映射工作正常。
我想在目标 table 中添加一个默认值,例如源中不存在的当前日期。
如何在 json 中添加默认值,以便能够在目标列中加载默认日期。
Json 附上映射中使用的:
我想在 jason 中添加源代码中不存在的今天日期。 jason 中的哪个编辑会有所帮助。
要添加默认值,我使用了数据流。
我创建了新列并添加了默认值作为当前日期。
首先创建了一个参数。
我使用 CSV 文件作为源数据集。其中有 6 列。
源数据集的架构 –
Id,
Region,
Country,
UnitsSold,
TestCol1,
TestCol2
添加了新列作为 DefaultDateValue。
然后我创建了具有 currentDate()
.
的参数“date”
在最后一步中,我将“日期”参数分配给 DefaultDateValue 列。
{
"name": "dataflow1",
"properties": {
"type": "MappingDataFlow",
"typeProperties": {
"sources": [
{
"dataset": {
"referenceName": "DelimitedText1",
"type": "DatasetReference"
},
"name": "source1"
}
],
"sinks": [
{
"dataset": {
"referenceName": "DelimitedText2",
"type": "DatasetReference"
},
"name": "sink1"
}
],
"transformations": [
{
"name": "DerivedColumn2"
}
],
"script": "parameters{\n\tdate as date (currentDate())\n}\nsource(output(\n\t\tId as string,\n\t\tRegion as string,\n\t\tCountry as string,\n\t\t{Units Sold} as string,\n\t\tTestCol1 as string,\n\t\tTestCol2 as string\n\t),\n\tallowSchemaDrift: true,\n\tvalidateSchema: false,\n\tignoreNoFilesFound: false) ~> source1\nsource1 derive(DefaultDateValue = $date) ~> DerivedColumn2\nDerivedColumn2 sink(allowSchemaDrift: true,\n\tvalidateSchema: false,\n\tinput(\n\t\tColumn_1 as string,\n\t\tColumn_2 as string,\n\t\tColumn_3 as string,\n\t\tColumn_4 as string,\n\t\tColumn_5 as string,\n\t\tColumn_6 as string\n\t),\n\tskipDuplicateMapInputs: true,\n\tskipDuplicateMapOutputs: true) ~> sink1"
}
}
}
SQL 源和接收器之间的副本 activity 中的动态列映射工作正常。
我想在目标 table 中添加一个默认值,例如源中不存在的当前日期。
如何在 json 中添加默认值,以便能够在目标列中加载默认日期。
Json 附上映射中使用的:
要添加默认值,我使用了数据流。
我创建了新列并添加了默认值作为当前日期。
首先创建了一个参数。
我使用 CSV 文件作为源数据集。其中有 6 列。
源数据集的架构 –
Id,
Region,
Country,
UnitsSold,
TestCol1,
TestCol2
添加了新列作为 DefaultDateValue。
然后我创建了具有 currentDate()
.
在最后一步中,我将“日期”参数分配给 DefaultDateValue 列。
{
"name": "dataflow1",
"properties": {
"type": "MappingDataFlow",
"typeProperties": {
"sources": [
{
"dataset": {
"referenceName": "DelimitedText1",
"type": "DatasetReference"
},
"name": "source1"
}
],
"sinks": [
{
"dataset": {
"referenceName": "DelimitedText2",
"type": "DatasetReference"
},
"name": "sink1"
}
],
"transformations": [
{
"name": "DerivedColumn2"
}
],
"script": "parameters{\n\tdate as date (currentDate())\n}\nsource(output(\n\t\tId as string,\n\t\tRegion as string,\n\t\tCountry as string,\n\t\t{Units Sold} as string,\n\t\tTestCol1 as string,\n\t\tTestCol2 as string\n\t),\n\tallowSchemaDrift: true,\n\tvalidateSchema: false,\n\tignoreNoFilesFound: false) ~> source1\nsource1 derive(DefaultDateValue = $date) ~> DerivedColumn2\nDerivedColumn2 sink(allowSchemaDrift: true,\n\tvalidateSchema: false,\n\tinput(\n\t\tColumn_1 as string,\n\t\tColumn_2 as string,\n\t\tColumn_3 as string,\n\t\tColumn_4 as string,\n\t\tColumn_5 as string,\n\t\tColumn_6 as string\n\t),\n\tskipDuplicateMapInputs: true,\n\tskipDuplicateMapOutputs: true) ~> sink1"
}
}
}