NIFI - 节流警告

Question

在我们的一个NIFI实例上，当我们处于积压状态时，我们经常遇到节流警告。我们调整了索引线程并增加了分配给 VM 的资源 (CPU)。我们还应该查看哪些其他内容来确定导致节流的争用原因？明明是disk I/O，但是看监控，什么也没有跳出来。任何关于其他人如何进一步调查的建议，将不胜感激。

NIFI版本：0.6.1

Answer 1

我会专注于磁盘争用。流文件、内容和出处存储库是否都在同一个物理分区上？如果是，那么几乎可以肯定它与磁盘争用有关。用于此的一个很好的命令是 'iostat'。您通常可以 运行 类似 'iostat -xmh 5' 的东西并观察利用率。

现在，即使在配置良好的系统上，也可能拥有如此高的数据率，以至于来源索引根本无法跟上。这些情况相当罕见，并且几乎总是可以通过减少流中漂浮的单个项目的数量（在适当的情况下利用批处理）来轻松解决。

自 0.6.1 版本以来，关于来源处理的性能有了相当大的改进，这可能对您的情况有帮助，也可能没有帮助。

更糟糕的情况是，您可以切换到临时来源，它全部在内存中，默认情况下只保留 100,000 个最近的事件。