运行 来自 SplitRecord 处理器 Nifi 的记录数

running record count from SplitRecord processor Nifi

有没有办法从 SplitRecord 处理器 Nifi 获取片段索引?我将一个非常大的 xls(4 条工厂记录)拆分为 "Records Per Split" = 100000.

现在我只想处理前 2 个拆分,以查看文件的质量并拒绝文件的其余部分。

我可以看到片段索引在其他拆分函数中(例如 JsonSplit),但不在记录拆分中。还有其他技巧吗?

方法一:

通过使用 Control Rate 处理器,我们可以实现这种情况

控制速率处理器:

通过此配置,我们每分钟发布 2 个流文件,并且

流量:

将队列过期配置为 10 秒(如果需要,可以设置更短的数字),然后流文件将在队列中过期,但前 2 个流文件将被释放。

方法二:

通过使用 SplitText 处理器然后使用 RouteOnAttribute 处理器并添加新的 属性 as

${fragment.index:le(2)}

通过使用上述表达式语言,我们只允许前 2 个片段索引。

参考this link在NiFi中分割大文件