在 Pentaho 数据集成中使用上次更新时间列创建维度 table 的问题

Issue with create dimension table with last update time column in Pentaho Data Integration

我在 Pentaho 数据集成 (PDI) 中使用上次更新时间(来自 GetSystemInfo)创建维度 table。它工作正常,除了它进入新行,即使行没有变化,原因是有查找也在执行不应执行的最后更新时间字段。但是,当我从属性维度 lookup/update 的关键字段中删除此字段时,它按预期工作,但经纬度更新字段中的值提前变为 empty.Thanx 任何 solution/Suggestion.

我想你是在谈论 SDC II。 (慢慢改变类型 2 的维度)在这里,您想要存储将行插入 SCD table 的日期。

  • 您可以在 Dimension Lookup / Update 步骤的 Fields 选项卡中使用 Date of last insert (without stream field as source) 类型的维度更新,而不是从 GetSystemInfo 步骤获取数据,它会自动在定义的 [=24] 中存储日期时间=]列。

附加提示:如果您需要存储来自源系统 table 的某个日期的最大值,这与加载新的/更改的数据相关,请在 [=12] 之后存储其最大值=] 进入单独的 table 并在 ETL 转换开始时加载更新数据时使用它。

我认为使用以下组件更好

  • 第 1 步: 使用 table 输入步骤,您可以从目标系统获取最大值并将该值传递给下一步
  • 第 2 步:再进行 table 输入步骤并编写源查询并在 where 子句中分配先前的值(如?)
  • 第3步:然后在目标级别执行照常操作

我想你已经完成了上述步骤。