映射数据流公共数据模型源连接器 datetime/timestamp 列无效?
Mapping Data Flow Common Data Model source connector datetime/timestamp columns nullified?
我们正在使用 Azure 数据工厂映射数据流从通用数据模型 (model.json) 中读取数据。
我们使用动态模式——其中实体是参数化的,我们不投影任何列,我们选择了 Allow schema drift.
问题:我们在映射数据流时遇到“源”问题(源类型是通用数据模型)。所有 datetime/timestamp 列在源 activity.
中都被读取为空
我们还尝试在投影选项卡 Infer drifted column types
中提供时间戳列的格式,但是,它仅满足某些时间戳列 - 因为在源中每个日期时间列都有不同的时间戳格式。
11/20/2020 12:45:01 PM
2020-11-20T03:18:45Z
2018-01-03T07:24:20.0000000+00:00
问题:如何防止日期时间列变为空?理想情况下,我们不希望映射数据流对任何列进行类型转换——有没有办法将所有列读取为字符串?
部分截图
在“投影”选项卡中 - 我们不指定架构 - 以允许架构漂移并动态加载 1 个以上的实体。
在“数据预览”选项卡中
ModifiedOn, SinkCreatedOn, SinkModifiedOn
- 所有这些都是系统列,肯定会有值。
此问题现已通过与 Azure 数据工厂团队的单独对话解决。
首先,无法 'stringfy' 源中的所有列,因为 CDM 连接器从 model.json 获取其元数据(如果需要,可以操作此文件,但不适合我的情况) .
要解决 datetime/timestamp 列变为空的问题 - 在“投影”选项卡下,我们需要 select Infer drifted column types
然后您可以添加您希望来自 CDM 的“多种”时间格式。您可以从下拉列表中 select - 如果您的特定日期时间格式未在下拉列表中列出(这是我的情况),那么您可以编辑数据流背后的代码(即数据流脚本),以添加您的格式(请参阅第二个屏幕截图)。
我们正在使用 Azure 数据工厂映射数据流从通用数据模型 (model.json) 中读取数据。
我们使用动态模式——其中实体是参数化的,我们不投影任何列,我们选择了 Allow schema drift.
问题:我们在映射数据流时遇到“源”问题(源类型是通用数据模型)。所有 datetime/timestamp 列在源 activity.
中都被读取为空我们还尝试在投影选项卡 Infer drifted column types
中提供时间戳列的格式,但是,它仅满足某些时间戳列 - 因为在源中每个日期时间列都有不同的时间戳格式。
11/20/2020 12:45:01 PM
2020-11-20T03:18:45Z
2018-01-03T07:24:20.0000000+00:00
问题:如何防止日期时间列变为空?理想情况下,我们不希望映射数据流对任何列进行类型转换——有没有办法将所有列读取为字符串?
部分截图
在“投影”选项卡中 - 我们不指定架构 - 以允许架构漂移并动态加载 1 个以上的实体。
在“数据预览”选项卡中
ModifiedOn, SinkCreatedOn, SinkModifiedOn
- 所有这些都是系统列,肯定会有值。
此问题现已通过与 Azure 数据工厂团队的单独对话解决。
首先,无法 'stringfy' 源中的所有列,因为 CDM 连接器从 model.json 获取其元数据(如果需要,可以操作此文件,但不适合我的情况) .
要解决 datetime/timestamp 列变为空的问题 - 在“投影”选项卡下,我们需要 select Infer drifted column types
然后您可以添加您希望来自 CDM 的“多种”时间格式。您可以从下拉列表中 select - 如果您的特定日期时间格式未在下拉列表中列出(这是我的情况),那么您可以编辑数据流背后的代码(即数据流脚本),以添加您的格式(请参阅第二个屏幕截图)。