streamsets 阶段中的记录数

Question

我使用 Streamsets 将记录从 oracle 提取到 ElasticSearch。我想在 maprDB 目标中注册我在 oracle 查询中处理每个步骤的记录数。如何获取某个流集阶段的记录数？

Answer 1

您可以插入其中一个脚本处理器（JavaScript Evaluator）来触发事件记录。并将 MaprDB 目标连接到脚本处理器事件通道。

var eventRecord = sdcFunctions.createEvent("count", 1);
eventRecord.value = { recordCount :  records.length};
sdcFunctions.toEvent(eventRecord);

Sample Pipeline

count of records in a streamsets stage