Azure 数据工厂数据流 - Parquet、架构和数据类型 "Any"
Azure Data Factory Data Flow - Parquet, Schema and Data Type "Any"
我在 Azure 数据工厂中有一个数据流正在从 Parquet 文件读取数据。它适用于除一个文件以外的所有文件。
数据流失败并出现错误:Could not read or convert schema fro the file ...
进入调试模式后,我意识到我的其中一列被数据流视为数据类型 any
(请参见下面的屏幕截图)。在原始文件中,模式读取此列的类型 TIME_MILLIS
。我怎样才能告诉数据流至少将此列视为 Text
?
如果这是从导入投影方法自动推断出来的,您可以尝试从源数据集属性中的文件手动导入模式。
如果这没有帮助,您可以使用 Derived Column 步骤 cast 将特定列转换为所需的数据类型 conversion functions.
我在 Azure 数据工厂中有一个数据流正在从 Parquet 文件读取数据。它适用于除一个文件以外的所有文件。
数据流失败并出现错误:Could not read or convert schema fro the file ...
进入调试模式后,我意识到我的其中一列被数据流视为数据类型 any
(请参见下面的屏幕截图)。在原始文件中,模式读取此列的类型 TIME_MILLIS
。我怎样才能告诉数据流至少将此列视为 Text
?
如果这是从导入投影方法自动推断出来的,您可以尝试从源数据集属性中的文件手动导入模式。
如果这没有帮助,您可以使用 Derived Column 步骤 cast 将特定列转换为所需的数据类型 conversion functions.