无法在 Azure 数据工厂的数据集中看到列 headers
Not able to see column headers in Datasets of Azure Data factory
我已使用 Powerapps 中的 Azure 突触 link 将 Dataverse 表导入 AZ 数据湖。
我在 AZ 数据湖容器中获得了 CSV 格式的表格。现在使用 azure 数据工厂,我想用一些过滤器深入挖掘这些数据并将其放入新的 csv 文件中。在实现这一点时,我为每个 csv 文件创建了数据集,并且 csv 文件和数据集都没有显示列 headers。我做了 select “第一行作为 header” 选项,但仍然没有运气。如果有人遇到过同样的问题并解决了这个问题,请帮助我。
当您使用突触 link 将 dataverse 提取到数据湖时,数据将以 CDM 格式存储。在 CDM 中,架构未作为 header 存储在 CSV 中,而是存储在 model.json 文件中。
在数据工厂中读取 CDM 的正确方法是使用映射数据流并将源设置为通用数据模型:https://docs.microsoft.com/en-us/powerapps/maker/data-platform/export-to-data-lake-data-adf
这将为您处理模式,并知道如何为 CDM 结构中的实体读取正确的文件。
我已使用 Powerapps 中的 Azure 突触 link 将 Dataverse 表导入 AZ 数据湖。 我在 AZ 数据湖容器中获得了 CSV 格式的表格。现在使用 azure 数据工厂,我想用一些过滤器深入挖掘这些数据并将其放入新的 csv 文件中。在实现这一点时,我为每个 csv 文件创建了数据集,并且 csv 文件和数据集都没有显示列 headers。我做了 select “第一行作为 header” 选项,但仍然没有运气。如果有人遇到过同样的问题并解决了这个问题,请帮助我。
当您使用突触 link 将 dataverse 提取到数据湖时,数据将以 CDM 格式存储。在 CDM 中,架构未作为 header 存储在 CSV 中,而是存储在 model.json 文件中。
在数据工厂中读取 CDM 的正确方法是使用映射数据流并将源设置为通用数据模型:https://docs.microsoft.com/en-us/powerapps/maker/data-platform/export-to-data-lake-data-adf
这将为您处理模式,并知道如何为 CDM 结构中的实体读取正确的文件。