我们可以在 Azure 映射数据流中转置数据吗?
Can we do transpose of data in Azure Mapping Data Flow?
我正在使用映射数据流在 ADF 中实现我的 M 查询脚本。在 M 查询中有两个函数,一个是 Table.pivot,另一个是 Table.transpose。
映射数据流有主元变换但没有转置。
谁能告诉我我们可以在 Azure 映射数据流中转置数据,还是我需要使用除映射数据流之外的其他东西(Databricks、Spark SQL)?
Transpose 会将所有行旋转为列,并将列旋转为行。
根据我的经验,数据流不能转置数据。
您需要在代码级别使用其他活动或工具。
我设法转置了一个 Excel table 这样的:
Field #1:
Value 1
Field #2:
Value 2
Field #3:
Value 3
至
Field1
Field2
Field3
Value 1
Value 2
Value 3
解决方法
SummaryHeader(数据集Excel)
SanitizeSummaryHeader(派生列)
正则表达式:regexReplace(HeaderNameRaw, "[^\w]+", "")
TransposeHeader(枢轴)
PruneSummaryHeader (Select)
匹配条件:!endsWith(name,"Raw")
ReduceSummaryHeader(聚合)
名称匹配:^(?!\bFileName\b).+$
我正在使用映射数据流在 ADF 中实现我的 M 查询脚本。在 M 查询中有两个函数,一个是 Table.pivot,另一个是 Table.transpose。 映射数据流有主元变换但没有转置。 谁能告诉我我们可以在 Azure 映射数据流中转置数据,还是我需要使用除映射数据流之外的其他东西(Databricks、Spark SQL)?
Transpose 会将所有行旋转为列,并将列旋转为行。
根据我的经验,数据流不能转置数据。
您需要在代码级别使用其他活动或工具。
我设法转置了一个 Excel table 这样的:
Field #1: | Value 1 |
Field #2: | Value 2 |
Field #3: | Value 3 |
至
Field1 | Field2 | Field3 |
---|---|---|
Value 1 | Value 2 | Value 3 |
解决方法
SummaryHeader(数据集Excel)
SanitizeSummaryHeader(派生列)
正则表达式:regexReplace(HeaderNameRaw, "[^\w]+", "")
TransposeHeader(枢轴)
PruneSummaryHeader (Select)
匹配条件:!endsWith(name,"Raw")
ReduceSummaryHeader(聚合)
名称匹配:^(?!\bFileName\b).+$