输出文件最后一行的值并指定到变量中

Question

我有一个 ETL (pentaho)，它通过以下步骤给出 excel 文件输出。

转换 1：

• Table 输入（有 SQL 语句 created > DATEVALUE ORDER BY created ASC）
• 排序行
• Excel输出

现在如何读取 excel 输出（创建的列）值的最后一行并将其存储到文本文件中？所以我可以确保当作业重新 运行 然后 SQL 语句 created date 大于文本文件存储值时。

转换 1：

• Table 输入（SQL 语句如 created > (get the value from text file) ORDER BY created ASC）
• 排序行
• Excel输出

实现此目标的最简单方法是什么？

Answer 1

您可以使用 Group by 和 Text file output 的组合保存数据流的最后一行，它与写入 Excel 的最后一行相匹配Excel output 步骤：

• 逐步分组：在Aggregates选项卡的Type列中设置Last value。将您的日期字段作为 Subject 并给它一些 Name 例如last_date.
• 文本文件输出步骤：将last_date写入文件

然后您的转换将从一个步骤开始，该步骤从文件 (Text file input) 中读取 last_date 并将其传递到 Table input 步骤，在该步骤中它用作您的参数SQL查询。

Answer 2

您也可以使用 Identify last row in a stream 步骤。只需让行从 Excel 输出步骤流出，确定最后一行，丢弃除该行以外的所有行，然后将其写入文本文件。它看起来像这样：